在模型「改主意」的地方分叉：强化学习信用分配的新刀法
·
0 次浏览
·来源: 866ai
带可验证奖励的强化学习（RLVR）通常只有最终结果一个信号，中间步骤的功劳难以归因。树形展开给了另一种刀法：在链条中间分叉，用兄弟分支的结果差异估计每一步的价值。但每个分叉都增加采样成本，现实预算必须精打细算。新研究提出在模型「信念转变」的关键位置优先分叉，把有限算力花在刀刃上，提升步级信用分配的效率。
教模型做数学题有个根本难题：只有最终答案对错这一个信号。一道二十步的解答，最后错了，错在第十八步还是第一步？没人告诉模型。这就是强化学习里经典的信用分配问题，在带可验证奖励的场景下格外尖锐——奖励确实客观，但只够发一次。
分叉点选在哪，决定账本的质量
树形展开是近年流行的解法：在解答链条的某一步分叉，让模型从同一步出发生成多条续写，比较兄弟分支的最终结果。如果某一步之后所有分支都成功，这一步多半没问题；如果同一步之后命运迥异，这一步就是关键分水岭。步级价值就这样从结果差异里被估出来，不需要任何额外的评判模型。
但分叉是花钱的：每个分叉点都意味着多倍采样。算力预算有限时，在哪分叉成了新的艺术。一项新研究给出的答案是盯住模型的「改主意」时刻——模型内部信念发生显著转变的位置。直觉很清楚：信念稳定的地方，后续走向早已注定，分叉测不出东西；信念摇摆的地方，一步之差可能通向完全不同的结局，那里的兄弟分支对比才信息量最大。
把算力花在刀刃上
这项工作的思路对更广泛的工程实践都有启发。资源受限下的信用分配，本质是一个采样预算的分配问题：均匀撒网是最懒也最浪费的策略，把预算集中到不确定性最高的位置，同样的成本能买到更准的价值估计。这与调试代码的逻辑一致——出 bug 的地方往往就是需求理解发生转折的地方，重点审查那里，比逐行通读高效得多。
- 均匀分叉是预算浪费，分叉点应当有先验偏好；
- 模型内部状态（如置信度变化）是廉价且有效的分叉信号；
- 步级价值的精度，直接决定策略更新的方向对不对。
RLVR 的热门源于奖励的客观性，但奖励只在终点这一事实，让中间过程的每一步都成了悬案。谁能在有限预算里把中间步骤的账算得更清，谁的模型就学得更快、更稳。