从“写函数”到“建仓库”：AI编程的下一道坎在哪里？
当人们谈论AI写代码时，脑海中浮现的往往是生成一段简洁的Python函数、修复一个报错的循环，或是补全某段缺失的逻辑。这些任务固然重要，却远未触及软件开发的本质——真正的工程能力，体现在能否从一个空文件夹出发，理解复杂需求，设计出可运行、可维护、可部署的完整系统。
局部生成≠系统构建：被低估的工程鸿沟
过去几年，HumanEval、MBPP等评测基准推动了代码生成模型在函数级任务上的快速进步。然而，这些测试本质上仍是“填空题”——模型只需补全局部逻辑，无需理解整体架构，更不必管理依赖、组织文件结构或应对真实环境中的不确定性。SWE-bench虽尝试在真实仓库中修复问题，但仍依赖已有代码基础，属于“增量式”开发，而非“从零创造”。
NL2Repo-Bench的出现，正是对这一局限的强力回应。它提出了一个更本质的问题：如果一个AI智能体不能在没有人类干预的情况下，仅凭自然语言描述就重建一个完整的开源项目，那么它在软件工程意义上的“自主性”就依然停留在表面。
零代码执行：一场对AI工程能力的极限压力测试
该基准的核心设计哲学是“零代码执行评估”——模型面对的是一个完全空白的开发环境，没有任何模板、脚手架或参考代码。它接收的是一份平均长度超过1.8万token的详细需求文档，内容涵盖项目目标、模块划分、API设计、测试用例说明等，几乎等同于一份真实的产品规格说明书。
任务来源经过严格筛选：104个来自GitHub的真实Python库，涵盖工具类、框架类和算法类，代码量普遍超过千行，部分甚至上万行。每个项目都具备完整的pytest测试套件，确保评估结果具备可验证的“真值”标准。模型生成的代码必须通过原始测试套件，才算成功复现。
这种设计极大提升了评估的严谨性。传统方法常依赖LLM打分或人工评估，容易引入主观偏差；而NL2Repo-Bench通过自动化测试直接衡量功能正确性，杜绝了“看起来合理但实际不可用”的幻觉输出。
模型表现暴露三大结构性缺陷
评测结果显示，即使是当前最强的Claude 4.5，整体通过率也低于40%，多数模型徘徊在20%左右。这一数据背后，是AI编程智能体在复杂工程场景下的系统性短板。
其一，长程规划能力缺失。许多模型在开发初期就陷入“早停”状态，未能完成全部模块；另一些则因缺乏全局视野，反复修改同一文件而忽略整体协调，最终导致架构崩坏。
其二，工具使用策略低效。部分模型频繁调用文件读写或搜索工具，却缺乏明确目标，陷入“盲目编辑”或“导航陷阱”。它们能执行操作，但无法形成连贯的开发意图。
其三，持续执行意志薄弱。一些模型在遇到测试失败时，不是继续调试，而是等待用户指令，表现出“未终止”行为。这反映出当前智能体仍高度依赖外部反馈，缺乏自主闭环解决问题的韧性。
值得注意的是，即便在“开卷考试”条件下（即提供完整测试用例），模型表现也难以突破60%，说明问题不在于信息不足，而在于执行机制本身存在瓶颈。
通往AGI的必经之路：从“代码生成器”到“工程智能体”
NL2Repo-Bench的意义，不仅在于提供一个新基准，更在于重新定义了AI编程的评估维度。它迫使研究者直面一个现实：写代码只是软件工程的一环，真正的挑战在于需求理解、系统设计与持续迭代的综合能力。
当前主流模型仍以“序列生成”为核心范式，擅长逐行输出代码，却难以构建跨文件的逻辑一致性。未来突破可能需要融合符号推理、程序合成与强化学习，让智能体具备“建筑师”般的全局思维，而非仅仅是“打字员”般的局部优化。
此外，评测环境的设计也提示了一条技术路径：最小化依赖、标准化镜像、自动化验证——这些工程细节的完善，是推动AI编程走向实用的基础设施。
尽管距离“人类不再需要写代码”的AGI愿景仍有距离，但NL2Repo-Bench为这一目标设立了一个清晰的里程碑。它告诉我们，真正的突破不会来自某个模型的参数增长，而来自对工程本质的深刻理解与系统性重构。