Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
·
0 次浏览
·来源: HuggingFace Papers
AI agents for autonomous scientific discovery must decide which experiments to run under a limited budget. Most benchmarks for science agents provide fixed datasets, while others that support active experimentation largely rely on simulation. We introduce Autonomous Science Bench, an initial release comprising six budgeted design-build-test-learn campaigns grounded in published experiments across biology, chemistry, and materials science....
自主科学发现的 AI 代理必须在有限的预算下决定运行哪些实验。大多数科学代理的基准测试都提供固定的数据集，而支持主动实验的其他方法主要依赖于模拟。我们推出了 Autonomous Science Bench，这是一个包含六个预算设计-构建-测试-学习活动的初始版本，这些活动基于生物学、化学和材料科学领域的已发表实验。代理选择设计的批次，从实验室服务中接收测量结果，并使用这些结果来指导后续实验，然后提供一个预测模型。成功需要通过两个校准的关口：一个发现关口，它评估代理测量的设计；以及一个学习关口，它评估其模型对保留设计的排名。在对八种代理-模型配置和 144 次实验的试验评估中，最佳配置在 67% 的实验中取得成功，而最困难的活动仅在 24 次尝试中解决了其中的三次。这两个关口揭示了不同的弱点：有些代理构建了准确的排名，但找到的有前景的设计太少，而其他代理则找到了有前景的设计，但无法预测哪些未知设计将表现良好。这些差异仅通过总体成功率来掩盖。我们在 https://yibow.me/autonomous-science-bench 上发布了活动的版本 0.1、实验室运行时和公开排行榜。