让LLM“自我进化”：基于任务转换的自验证奖励范式
从“可验证”到“自验证”的范式跃迁
在大模型快速迭代的当下，强化学习已成为提升模型推理能力的关键引擎。然而，传统的强化学习方法在应用于大语言模型时，常因奖 signal 的获取困难而受阻。特别是基于可验证奖励的强化学习（RLVR），它通过检查答案是否正确来提供奖励信号，这种机制在数学、编码等领域效果显著，因为在这些领域答案的对错可以通过自动化程序精确判定。但这种“确定性验证”的铁律，也成为了RLVR最大的短板。现实中绝大多数语言任务——无论是文本摘要、创意写作，还是复杂的逻辑推理——都难以被还原为简单的对错判定。此时，人类偏好的引入、LLM判官的部署或奖励模型的训练，便成了必然选择，却也随之带来了评估偏见、判官能力瓶颈以及额外的推理成本。这种局面下，如何在开放式任务中实现大规模、可扩展的模型自我优化，成为行业内亟待突破的难题。
任务转换：打开开放式任务的“验证之门”
文章作者巧妙地借鉴了自监督学习中“构建预训练任务以从数据中派生监督信号”的核心思想。他们提出了全新的强化学习范式——基于自验证奖励的强化学习（RLSVR）。与其对抗人类偏好的不确定性，不如直接通过“任务转换”重新定义任务本身。RLSVR 的核心逻辑在于：并非试图在现有的开放式任务框架中寻找验证途径，而是将开放式任务转化为内部规则和交互结果能够自动生成奖励信号的“可验证代理环境”。这种方法的巧妙之处在于，它不需要外部的金标准答案，也不依赖人类标注员的主观评价，而是让模型自身在重构后的任务结构中，通过内在逻辑产生奖励。这种“以任务换奖励”的范式转移，实际上是对大模型训练逻辑的一次深度重塑，它打开了将RLVR扩展到非确定性领域的可能性之门。
SpyRL：基于身份推理的多智能体自博环境
为了验证RLSVR范式的可行性，作者选取了经典社会推理游戏“谁是卧底”的变体作为实验样本，并构建了名为SpyRL的多智能体自博环境。在SpyRL的游戏设定中，智能体被分为普通玩家和卧spy，每个智能体都持有非对称的信息，但共同目标是完成同一个核心任务。游戏的关键在于：通过投票机制来识别谁是卧底。由于卧底身份是预先固定的，投票结果自然成为了一个完全可验证的奖励信号。如果投票选出的卧底是正确的，即为正向奖励；反之则为负向奖励。这种设计巧妙地将原本主观的“输出质量”转化为了客观的“投票一致性”。值得注意的是，虽然投票结果直接关联卧底身份的正确与否，但成功识别卧底的过程，本质上仍然需要智能体展现出优秀的语言表达、逻辑推理以及信息整合能力。因此，该奖励信号与模型的输出质量之间保持着紧密的相关性，这为模型的自我提升提供了明确的方向性指引。
实验验证：跨领域的性能跃升
作者通过一系列精心设计的实验，全方位检验了SpyRL及其背后的RLSVR范式。实验覆盖了文本摘要、创意写作以及数理推理三大类任务。在非可验证的开放式任务上，SpyRL表现出色，显著优于现有的自改进方法。这表明，任务转换机制有效缓解了传统奖励模型在开放式任务中易出现的偏差与不稳定问题。更值得关注的是，该方法在验证性推理任务上也展现出了稳健的提升效果。这说明RLSVR并非仅仅局限于“游戏化”场景的玩具，它实际上提供了一种通用的方法论，能够在保持可验证性的同时，拓宽强化学习的适用边界。实验数据有力地证明了“任务转换”这一手段的有效性，为大模型自进化提供了坚实的实证支撑。
展望：重塑LLM自我进化的底层逻辑
展望未来，RLSVR范式的出现无疑将重塑大语言模型自我进化的底层逻辑。目前，LLM的训练大多依赖于海量的预训练数据和人工标注的微调数据，这种“外驱动”模式在面对开放式、动态任务时显得力不从心。而RLSVR引入的任务转换范式，实际上是让模型在训练过程中扮演“设计者”与“玩家”的双重角色。它不仅能够解决奖励获取的问题，更在潜移默化中训练了模型的元认知能力——即模型学会如何通过重构任务自身来获取反馈。随着模型规模的进一步扩大和环境设计的日益精细，我们有理由期待，这种基于内在规则的验证机制将逐渐成为连接狭窄领域能力与广域智能的关键桥梁。当然，这也带来了新的挑战：如何设计更具普适性的任务转换规则，以及如何在保证奖励真实性的同时避免模型陷入局部最优，都是需要学术界持续探索的课题。无论如何，RLSVR与SpyRL的提出，都为打破领域边界、实现真正意义上的开放式LLM自进化指明了清晰的道路。