评估关卡太严，机器人就学不到新东西
·
0 次浏览
·来源: 866ai
持续学习的具身智能体每次更新策略都要过一道独立评估关卡，用来拦截有害更新。但关卡收紧是有代价的：过于保守的准入判定会把大量有益更新也挡在门外。新研究指出一个具体失效——常用的置信区间门控无法在合理交互预算内证明「旧任务表现没变差」，导致学习几乎停摆；而当新旧策略输出分歧较少时，配对二项检验能大幅降低验证成本。更新准入应当在错误控制和保留学习机会之间显式权衡。
给会持续学习的机器人设一道评估关卡，动机非常正当：每次策略更新前先独立验证一遍，有害的更新拦下来，免得刚学会的技能一夜退化。这套机制听起来无懈可击，实践中却出现了一种怪现象——机器人被关卡保护得很好，技能却再也长不进了。
安全与学习的隐式冲突
问题出在关卡的设计逻辑上。准入判定通常只问一件事：新策略有没有比旧策略差？为了把误放行的风险压到足够低，判定只好不断抬高证据门槛。一项新研究算了一笔精确的账：在固定的交互预算下，常用的置信区间门控根本无法证明「旧任务行为保持不变」——不是因为新策略真的变差了，而是证明「没变化」本身需要的样本量，远超预算能给的数量。结果就是几乎所有更新都被扣下，安全是安全了，学习也停了。
研究给出的解法也很朴素：换一种统计构造。当新旧策略的输出分歧很少时，配对二项检验可以把验证负担降下来一大截——你不需要重新考一遍所有科目，只需要盯住两个策略答案不一致的那些题。分歧越少，需要人工或仿真复核的交互就越少，同样预算下能放行更多真正有益的更新。
把权衡摆上台面
这项工作真正的贡献，是把一个被藏起来的权衡摆到了明处：更新准入不能只谈错误控制，必须同时交代「在给定交互预算下，你还保留了多少学习机会」。只谈安全的关卡设计，等于用学习停滞去换取安逸，这笔账在快速迭代的产品环境里并不划算。
关卡的意义不是拦下一切，而是用最小的验证成本拦下真正危险的更新。
对做具身产品的团队，这里有一条可以直接落地的建议：审计一下你的更新准入流程，统计一下过去一个月有多少更新被拒、被拒的理由里有多少是「证据不足」而非「确实有害」。如果前者占大头，你的机器人可能正处在安全保护下的学习饥饿状态。