会做完任务还不够:AI 智能体急需一场「抗压测试」
·
0 次浏览
·来源: 866ai
当前对 AI 智能体的评估几乎都停留在单次任务完成率,而真实部署中的智能体要在反复交互、条件变化和人为依赖里长期工作。新研究提出两个互补维度:运行韧性(受阻后能否保住进度、恢复工作并坦承局限)与体贴协作(是否给共享流程里的协作者制造额外负担)。随着技术故障、人为打断不断累积,这两个维度可能比任务成功率更能预测一个智能体能不能真正用起来。
评测一个大模型智能体,目前的通行做法是把它扔进一组任务里算完成率。做完了,就是好智能体。这套标准在实验室里运转良好,可一旦进入真实工作流就露馅:用户的需求改了三次、某个接口临时挂掉、审批人两小时没回复——很多在基准测试里拿高分的智能体,在这种连环折腾下直接趴窝,或者更糟:默默地把自己卡住,谁也不告诉。
两个被忽视的维度
一项新研究把问题挑明了:智能体的长期可用性,取决于两个几乎没被评测过的品质。第一个是运行韧性——工作被阻塞之后,它能不能保住已有进度?换个路径继续推进?在能力到达边界时,能不能清楚地告诉协作者「我卡在哪、需要什么」?第二个是体贴协作:它把任务抛回给人之前,有没有先把上下文整理好?它发起的提问时机和颗粒度,是减轻了负担还是制造了负担?
研究特意设计挑战随时间累积的实验环境:故障不是单次事件,而是持续叠加的压力。结果符合直觉也足够扎心——不少单次任务表现出色的智能体,在多轮干扰下进度保存一塌糊涂,或者反复用含糊的问题打扰协作者。完成任务和可持续地完成任务,是两种能力。
为什么企业选型该关心这个
采购智能体的团队通常拿着任务完成率的评测报告做决定,这就像只看百米成绩招马拉松选手。真实业务里的智能体每天面对的是中断、变更和依赖,韧性差的智能体带来的不是效率,而是收拾残局的隐性人力成本。把恢复能力、进度保全、沟通质量纳入验收标准,技术团队才能在上线前识别出那些「演示很美、上岗拉胯」的产品。
长期部署拼的不是爆发力,是抗折腾的能力。
这项研究的局限也很典型:实验环境再精心,也模拟不完真实组织的混乱。但方向是对的——智能体评估正在从「考试」走向「试用期」,谁能定义好抗压能力的度量衡,谁就能影响下一代智能体的设计取向。毕竟,被测量的东西才会被改进。