Jev-ToM: Evaluating Theory of Mind in Typed Decision Models
·
0 次浏览
·来源: HuggingFace Papers
Dialogue and collaborative assistants repeatedly judge what a partner knows, believes, or intends. Typed decision models offer a potential alternative to generative large language models for bounded Theory of Mind (ToM) selection. We present Jev-ToM, comparing five typed decision models and seven generative baselines on 11,117 English text questions from nine ToM benchmarks across six capability groups....
对话和协作助手反复判断合作伙伴所知道、相信或意图的内容。带有类型的决策模型为有限的心智理论（ToM）选择提供了潜在的替代方案。我们提出了 Jev-ToM，在九个心智理论基准中的 11,117 个英语文本问题上，比较了五种带有类型的决策模型和七种生成基准模型，涵盖六个能力组。TypeSafe Jev 的准确率达到 73.2%，包括原生控制，在所有六个能力中排名第一或第二，在信念、目标/愿望/意图和情绪方面表现突出。其他带有类型的模型在各个任务中表现出明显的优势。单独的资源对比表明，Jev 可以减少重复心智理论选择的成本和等待时间。基于信任的选择仍然依赖于基准，提供的理由可以根据其附加性修复错误或推翻正确答案。候选项扩展揭示了明显的选择和输出有效性问题。相关问题提示占了 Jev 下游收益的大部分，其中对预测状态的影响取决于任务。这些发现促使我们将 Jev 作为助手中的心智理论选择组件进行测试，并将任务特定的信任校准、候选项设计和输出验证作为整合的优先事项。