ACED-Bench: 评估 LLM 代理如何获取和依据因果证据采取行动
·
0 次浏览
·来源: ArXiv AI
arXiv:2610.14381v1 发布类型: 新文摘: 大型语言模型越来越多地被用作科学助手,但我们仍然缺乏可靠的方法来评估它们是否能够研究系统,而不仅仅是回答提示。一个有用的评估方法必须允许代理选择实验,解释结果,并根据结果进行调整。然而,由于大型语言模型的复杂性,这...
arXiv:2610.14381v1 发布类型: 新文摘: 大型语言模型越来越多地被用作科学助手,但我们仍然缺乏可靠的方法来评估它们是否能够研究系统,而不仅仅是回答提示。一个有用的评估方法必须允许代理选择实验,解释结果,并根据结果进行调整。然而,由于大型语言模型的复杂性,这...
arXiv:2610.14381v1 Announce Type: new Abstract: Large language models are increasingly used as scientific assistants, yet we still lack reliable ways to evaluate whether they can investigate a system rather than merely answer a prompt. A useful evaluation must let agents choose experiments, interpre...