Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges
·
0 次浏览
·来源: HuggingFace Papers
Rubric-based reward models (RMs) evaluate responses against explicit criteria. However, existing methods often derive criteria from observed response candidates, introducing response-induced bias that may limit rubric generalizability. Their judges also struggle with mechanical constraints when relying on reading alone, and commonly used pairwise judges provide only relative preferences, complicating their direct use for policy optimization....
基于评分标准的奖励模型 (RM) 根据明确的标准来评估响应。然而，现有的方法通常从观察到的响应候选项中衍生标准，引入了响应所引起的偏差，这可能会限制评分标准的通用性。它们的评委在仅依赖阅读时也会面临机械性的限制，而常用的双对比评委仅提供相对偏好，这使得它们直接用于政策优化变得复杂。我们提出了 ReVeR，这是一种基于点的评分标准 RM，通过仅根据指令进行推理来衍生硬性规则和分级原则，并通过增强工具的评判来独立评估响应。这两个组件都通过标签盲式提炼进行训练，其中偏好标签仅过滤教师的输出，从而产生 ReVeR-Traces，这是一个包含评分标准推理和评判轨迹的大规模数据集。实验表明，ReVeR 在平均偏好准确性、指令遵循方面明显优于双对比评分标准 RM，以及在测试时的扩展和下游政策优化方面。我们还发现，生成器 RL 提高了偏好准确性，同时降低了评分标准的保真度，并且更高的偏好准确性并不一定意味着更好的下游策略。这些发现强调了评分标准的保真度、偏好准确性和下游效用是不同的属性，为未来的 RM 研究提供了启示。