toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,319个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

DeNovoSWE:首个长程 Doc2Repo 训练集,让 Code Agent 学会造仓库

2026/07/05
·toolin小编

中国人民大学发布 4818 个真实任务实例的开源训练集,专治 Agent 仓库级代码生成,把 Qwen3-30B 通过率从 5.8% 拉到 47.2%

DeNovoSWE:首个长程 Doc2Repo 训练集,让 Code Agent 学会造仓库
DeNovoSWE:首个长程 Doc2Repo 训练集,让 Code Agent 学会造仓库
2026/07/05

DeNovoSWE:首个长程 Doc2Repo 训练集,让 Code Agent 学会造仓库

中国人民大学发布 4818 个真实任务实例的开源训练集,专治 Agent 仓库级代码生成,把 Qwen3-30B 通过率从 5.8% 拉到 47.2%

DeNovoSWE 是什么核心问题:从「修 bug」到「造仓库」高质量任务文档的两条标准标准 1:well-organized标准 2:从可靠 evaluation 出发DeNovoSWE 方法:Divide & ConquerDivide 阶段Conquer 阶段难度感知过滤实验结果:长程数据带来质变Qwen3-30B-A3B-Instruct 上的提升在更强 backbone 上的稳定收益怎么使用资源链接推荐用法应用场景
AI产品

过去一年 SWE-bench 这类基准推动 Code Agent 学会了"改 bug""补条件判断",但真实软件开发往往是理解需求、规划架构、创建文件、设计 API、处理依赖、打通模块,最终让整个仓库在测试中跑通。这种 long-horizon repository-level generation 任务,前沿模型在 BeyondSWE-Doc2Repo、NL2RepoBench 上表现并不理想。中国人民大学高瓴人工智能学院近日发布的 DeNovoSWE 数据集正是冲着这个缺口——它是首个面向长程 Doc2Repo 任务的开源高质量训练集,包含 4818 个真实任务实例,把 Qwen3-30B-A3B-Instruct 在 BeyondSWE-Doc2Repo 上的通过率从 5.8% 拉到 47.2%。本文拆解它的设计哲学、方法和使用方式,为训练自家 Code Agent 的团队提供资源参考。

DeNovoSWE 是什么

一句话定义:一个让 Code Agent 从文档生成完整可运行仓库的开源训练集。

  • 发布方:中国人民大学高瓴人工智能学院
  • 任务类型:document-to-repository generation(长程 SWE 任务)
  • 规模:4818 个高质量真实任务实例
  • 特性:可执行、可评估、可训练

Image

论文 arxiv.org/abs/2606.10728,仓库 github.com/AweAI-Team/DeNovoSWE。

核心问题:从「修 bug」到「造仓库」

DeNovoSWE 把任务难度推向了一个根本变化:不再是 issue-level fixing,而是 whole-repository generation。

在传统 SWE 任务中,Agent 面对的是已有仓库,只需定位 bug、修改局部代码、通过测试。DeNovoSWE 中,Agent 面对的是被清理后的环境:

  • 原始源码和测试被移除
  • git 历史被重置
  • 缓存、site-packages 残留、pip wheel、临时编译产物等潜在泄漏渠道全部清除

这意味着 Agent 必须真正依赖文档完成整个仓库的重建:规划项目结构、创建模块文件、定义公开接口、实现跨文件交互、处理依赖和配置,并在多轮编辑与测试反馈中不断修复错误。任何 API 签名、返回字段、异常类型或默认行为的偏差都可能导致测试失败;错误还会在长程过程中累积——一个早期设计不合理的模块会影响后续多个文件和调用链。

高质量任务文档的两条标准

DeNovoSWE 的核心思想是:让文档既可读、可实现,又可验证。在 document-to-repository generation 中,文档不只是 README,而是 Agent 重建整个仓库的唯一任务入口。

标准 1:well-organized

仓库级任务天然复杂,包含多个模块、接口、配置、数据结构和交互流程。如果文档只是把函数说明堆在一起,Agent 容易迷失在碎片信息中。高质量文档应该:

  • 先给出清晰的仓库总览
  • 按能力或工作流拆分章节
  • 每一部分对应明确的功能边界

标准 2:从可靠 evaluation 出发

文档既不能太少(任务变成欠定义问题,模型靠漫无边际猜才能通过 evaluation),也不能太多(直接泄漏实现细节,让任务失去挑战)。真正高质量的文档应该描述 evaluation 所依赖的关键行为:

  • import path
  • 公开 API
  • 输入输出
  • 默认参数
  • 异常行为
  • 配置项
  • 模式字符串
  • 返回字段

也就是说,文档要足以让 Agent 复现可测试行为,但不能变成实现代码的拷贝。

Image

DeNovoSWE 通过 Divide & Conquer 与 Critic & Repair 机制构造高质量数据集。

DeNovoSWE 方法:Divide & Conquer

DeNovoSWE 不是人工手写文档,而是通过 sandboxed multi-agent workflow 自动构建高质量实例,整个方法分两步。

Divide 阶段

系统分析目标仓库,将其拆解为多个 repository capabilities。每个 capability 对应仓库中的一个核心能力或工作流(认证与连接、数据读写、批处理、导出流程等)。同时:

  • 运行原始单元测试并收集执行 trace
  • 识别哪些函数、类和接口真正影响 evaluation
  • 区分三类组件:
    • direct components:直接被测试调用的接口,必须详细记录
    • core indirect components:影响可观察行为的核心间接组件,需要覆盖
    • non-core indirect components:非核心内部实现,留给 Agent 自由发挥

Conquer 阶段

使用 Draft-Critic-Repair 机制逐能力生成文档:

  1. Draft agent:写出初稿
  2. Critic agent:检查文档是否遗漏关键 API、行为契约或结构信息
  3. Repair agent:根据反馈修复文档
  4. 循环迭代:直到每个能力章节足够清晰、完整、与 evaluation 对齐

最终,不同能力文档被合并成一份完整的任务文档,作为 Agent 从零生成仓库的唯一依据。

Image

Draft-Critic-Repair 循环确保文档与 evaluation 严格对齐,避免泄漏与缺失。

难度感知过滤

为处理不同仓库的难度差异,DeNovoSWE 提出 difficulty-aware trajectory filtering:

  • 容易任务:要求更高通过率
  • 困难任务:不能因为没有达到完美分数就被全部丢弃

根据结构复杂度和 LLM 难度判断,为不同难度区间设置不同过滤阈值。这对长程任务尤其重要——越复杂的仓库越难一次性通过所有测试,但其中的困难仓库、低分、部分成功的轨迹仍包含宝贵的长程规划与实现能力。

实验结果:长程数据带来质变

DeNovoSWE 最终构建了 4818 个高质量 document-to-repository 任务实例,实验结果证明了"长程数据"的不可替代性。

Qwen3-30B-A3B-Instruct 上的提升

数据集BeyondSWE-Doc2RepoNL2RepoBench
原始模型5.8%4.3%
Scale-SWE-Agent(普通 SWE 数据训练)29.2%18.3%
DeNovoSWE 训练47.2%23.0%

普通 issue-level SWE 数据确实有迁移效果,但 DeNovoSWE 把效果再提升一大截。这说明:面向"修 bug"的数据不能完全替代面向"生成完整仓库"的长程数据。

Image

实验证明 DeNovoSWE 对长程仓库生成能力带来显著提升。

在更强 backbone 上的稳定收益

在 Qwen3.5-35B-A3B 上,DeNovoSWE 同样带来稳定收益:

  • BeyondSWE-Doc2Repo:43.8% → 50.0%
  • NL2RepoBench:23.5% → 27.1%

进一步说明收益不是偶然适配某一个模型,而是来自高质量长程数据本身。

怎么使用

资源链接

  • 论文:https://arxiv.org/pdf/2606.10728
  • 代码仓库:https://github.com/AweAI-Team/DeNovoSWE
  • 数据集(HuggingFace):https://huggingface.co/collections/AweAI-Team/denovoswe

推荐用法

  • 训练 Code Agent:作为长程 SWE 数据补充到现有训练 pipeline,与 Scale-SWE 等 issue-level 数据形成互补
  • 评估模型:在 BeyondSWE-Doc2Repo 与 NL2RepoBench 上评测自家模型的仓库级生成能力
  • 研究长程任务:difficulty-aware trajectory filtering 思路可迁移到其他长程 Agent 任务

应用场景

  • 大模型团队:训练具备长程软件工程能力的下一代 Code Agent
  • Agent 框架开发者:用 DeNovoSWE 评测框架在仓库级任务上的表现
  • 学术研究:长程任务、可验证任务、anti-leakage 数据构造的方法参考

💡 提示:如果你的 Code Agent 在 SWE-bench 上表现不错但面对"从零搭一个仓库"就抓瞎,DeNovoSWE 是目前最直接可用的训练数据。建议先用其 difficulty-aware 过滤后的子集做小规模 SFT 验证,再决定是否扩规模。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
DeNovoSWE 是什么核心问题:从「修 bug」到「造仓库」高质量任务文档的两条标准标准 1:well-organized标准 2:从可靠 evaluation 出发DeNovoSWE 方法:Divide & ConquerDivide 阶段Conquer 阶段难度感知过滤实验结果:长程数据带来质变Qwen3-30B-A3B-Instruct 上的提升在更强 backbone 上的稳定收益怎么使用资源链接推荐用法应用场景

相关文章

MaineCoon:史上最快流式音视频社交模型
AI产品

MaineCoon:史上最快流式音视频社交模型

Catnip 团队推出 22B 参数流式音视频模型 MaineCoon,单卡 H100 跑出 47.5 FPS,成本仅为 Veo 3 的 1/2000,支持 30 分钟以上音画同出。

avatar for toolin小编
toolin小编
8小时前
Codex Security Plugin:用 OpenAI 一键扫描代码安全隐患
AI产品

Codex Security Plugin:用 OpenAI 一键扫描代码安全隐患

OpenAI 推出 Codex Security 插件,在 Codex 里一键扫描代码漏洞、验证可利用性并给出修复方案,附带完整上手步骤。

avatar for toolin小编
toolin小编
1天前
DeepSeek Deep Code:Claude Code 的国产终端替代
AI产品

DeepSeek Deep Code:Claude Code 的国产终端替代

DeepSeek 官方推荐的开源终端编程 Agent Deep Code,支持深度思考、推理强度调节与 Agent Skills,三步即可上手。

avatar for toolin小编
toolin小编
1天前