当AI开始“复现”科学：一场关于可信研究的智能革命
科学研究的黄金标准之一是“可复现性”——即独立研究者能够基于原始数据与方法重现结论。然而，近年来社会科学与行为科学领域频现“复现危机”，大量高影响力研究无法被验证，引发对学术严谨性的广泛质疑。在这一背景下，人工智能不再只是论文生成或数据分析的助手，而是开始介入科研验证的核心环节：复现研究本身。
从“可重复”到“可复现”：科研验证的深层挑战
传统上，AI在科研复现中的评估多集中于“可重复性”（reproducibility），即当研究者拥有完整代码与原始数据时，能否重新运行并得出相同结果。这种模式虽具技术价值，却与现实脱节。现实中，许多研究依赖专有数据集、动态更新的调查平台或受限访问的数据库，导致复现者往往无法获取关键资源。更棘手的是，大量研究本身存在方法缺陷或统计偏差，根本无法复现，但现有基准测试却鲜少包含这类“负样本”。
这种评估盲区使得AI代理的训练与测试陷入“温室效应”——在理想条件下表现优异，却无法应对真实科研的复杂性。真正的复现工作，不仅需要技术能力，更要求研究者具备信息检索、批判性思维与跨领域协调的能力，而这些正是当前AI系统最薄弱的环节。
ReplicatorBench：构建真实世界的复现测试场
为解决上述问题，研究者提出ReplicatorBench，一个专为评估AI代理在科研复现任务中表现而设计的端到端基准。该基准首次系统性地纳入两类研究主张：经人类专家验证的可复现研究与明确不可复现的研究。这种设计打破了以往仅以“成功复现”为标准的单一维度，迫使AI代理直面科研中的不确定性。
ReplicatorBench将复现过程拆解为三个关键阶段：第一阶段是数据提取与检索，AI需主动搜索并获取支撑研究结论所需的数据源；第二阶段是实验设计与执行，在沙盒环境中运行代码、调整参数并验证结果；第三阶段是结果解读，判断复现是否成功，并分析差异成因。这种流程模拟了人类复现者的真实工作路径，强调过程而非仅看结果。
为验证基准有效性，研究团队开发了ReplicatorAgent框架，集成网络搜索、代码执行环境与迭代反馈机制。该框架在四种主流大语言模型上进行了测试，涵盖不同编程语言偏好与代码访问权限设置。结果显示，AI代理在实验执行环节表现稳定，能够准确复现已有流程，但在数据检索阶段普遍受阻——尤其当所需数据未公开或需权限申请时，系统往往陷入“信息真空”。
AI复现的“能力断层”：技术强项与真实短板
这一发现揭示了当前AI代理在科研复现中的“能力断层”。它们擅长处理结构化任务，如运行Python脚本或调用API，却难以应对非结构化、动态变化的现实信息环境。例如，某项研究依赖某国政府发布的年度社会调查数据，但该数据在复现时已更新版本或下架，AI代理缺乏主动追踪、替代方案探索或人工协调的能力，导致复现链条断裂。
更深层次的问题在于，AI系统缺乏对“不可复现性”的识别机制。面对方法缺陷或数据操纵嫌疑，人类研究者会启动批判性审查，而当前AI更多是“忠实执行者”，而非“质疑者”。这种被动性限制了其在科研诚信维护中的潜力。
此外，不同编程语言与代码访问权限的影响也值得关注。测试表明，允许AI直接访问原始代码的代理表现更优，而仅提供自然语言描述的代理在实验设计阶段错误率显著上升。这说明，AI复现能力高度依赖信息透明度，而当前学术出版中代码与数据共享的不足，进一步放大了AI的局限性。
迈向“智能同行评审”：AI在科研生态中的新角色
尽管存在短板，ReplicatorBench的提出标志着AI在科研验证领域迈出关键一步。它不再将复现视为纯粹的技术任务，而是将其嵌入更广泛的科研实践语境中。未来，AI代理有望成为“智能同行评审员”，在论文发表前自动执行复现测试，或在争议研究中提供独立验证。
要实现这一愿景，需推动三方面变革：一是建立更开放的数据共享生态，降低复现门槛；二是发展具备更强推理与规划能力的AI架构，使其能主动应对信息缺失；三是构建跨学科协作机制，让AI系统与人类研究者形成互补。
长远来看，AI复现不仅是技术问题，更是科研文化转型的催化剂。当机器开始追问“你的研究能否被复现”，整个学术界或将迎来一场关于透明度、可验证性与责任感的深层反思。