破局幻象：多模态大模型训练中的“双熵”优化范式突围
从“奖励塑形”到“策略重塑”的方法论重构
在当前生成式AI浪潮的浪潮中，多模态大语言模型（MLLMs）展现出了令人惊叹的跨模态理解能力。然而，随着模型规模的膨胀，其在生成内容时“编造事实”或“产生幻觉”的倾向日益凸显，这成为了阻碍其在金融、医疗、法律等高风险领域落地的最大短板。业界普遍采用强化学习（RL）通过引入奖励模型来引导模型生成更高质量的输出，试图在模型参数层面进行“纠偏”。
然而，作为一名长期关注大模型训练机制的资深观察者，我注意到一个悖论：RL本应是提升模型理性的利器，却在某些场景下反而加剧了幻觉现象。为什么会出现这种“越训练越幻觉”的尴尬局面？这背后的技术逻辑值得深入拆解。
“修正链条”的两个盲区
笔者梳理了现有RL训练范式，认为问题的根源在于“修正链条”中的两个核心弱点。首先是奖励模型的单一性。传统的奖励函数往往倾向于量化文本的流畅性、概率概括或特定任务的准确率，却难以全面捕捉“事实真实性”这个抽象且复杂的概念。当奖励模型无法精准区分“正确的推理路径”和“看似合理但实则错误的捷径”时，模型就会被引导去追求高分，却可能偏离事实真相。
其次，也是更为关键的是，现有的RL更新机制往往存在“单一目标偏差”。在从奖励信号到模型参数的更新过程中，系统往往只关注即时的奖励最大化，忽略了对模型内在不确定性的把控。这种机械的参数更新可能会导致模型在某些方向上过度收敛，而牺牲了对边缘情况的鲁棒性，从而为幻觉提供了温床。
DEEPO方案：双熵驱动的动态平衡
正是基于上述洞察，近期arXiv平台上的一篇预印本论文提出了DEEPO（Dual-Entropy Enhanced Policy Optimization，双熵增强策略优化）框架。该工作并非简单的参数微调，而是试图从信息论的角度重构RL的训练逻辑。
DEEPO的核心创新在于引入了“双熵”机制。与其传统的单一熵惩罚或奖励最大化不同，该方案在训练过程中同时考虑了两种不同性质的熵：
首先是策略熵，用于衡量模型在面对同一输入时输出分布的多样性。适度的策略熵可以防止模型陷入局部最优，保持对不同解答路径的探索能力，这对于处理模糊的视觉语言问题至关重要。
其次是价值熵，这是DEEPO区别于以往工作的关键。价值熵用于量化价值函数的不确定性。在训练过程中，DEEPO会实时监测模型对当前状态价值的估计程度。当模型对某个输出路径的把握不足（即价值熵高）时，系统会自动调整训练策略，给予更精细的监督或引入额外的探索机制，而不是盲目地进行参数更新。
通过这两种熵的协同作用，DEEPO能够在“精确性”与“探索性”之间建立动态平衡。它不再单纯地追求单一的高分输出，而是学会在确定性较低的区域进行有效的信息采集，从而有效抑制了那些为了获得虚高奖励而产生的、事实性的错误生成。
实验验证：在精准与鲁棒间寻找最优解
论文通过在多个主流MLLMs基准测试集上的对比实验，展示了DEEPO的显著优势。在视觉问答（VQA）和文档理解等任务中，采用DEEPO训练后的模型，其幻觉率在核心指标上均有显著降低。更重要的是，这种降低并非以牺牲模型原有的推理能力为代价。在常规的逻辑推理和数学计算任务上，受训模型的表现并未出现明显退步，甚至在某些复杂的多步推理场景中，因更好的路径探索能力而表现出轻微的提升。
这种“两全其美”的效果，验证了双熵机制的有效性。它证明了在训练MLLMs时，不必在“聪明”与“诚实”之间做出妥协。DEEPO通过精细的熵度量，让模型在追求高性能的同时，学会了自我界定的边界，从根本上减少了无根据的内容填充。
行业洞察与前瞻展望
从行业层面来看，DEEPO的出现标志着MLLMs训练范式的一次重要转移。过去，我们过度依赖海量数据的清洗和人工标注来对抗幻觉，这在成本和效率上都面临着天花板。而基于信息论的动态优化方法，如DEEPO，代表了一条更为底层、更具可持续性的技术路径。
展望未来，我们有理由相信，这类“双熵”或多维度的熵控制机制将不再局限于幻觉抑制。随着模型规模的进一步膨胀和应用场景的日益复杂，如何在模型的创造性与可控性之间找到动态的平衡点，将成为每一次训练迭代的核心命题。DEEPO提供的框架，或将成为未来RLHF（人类反馈强化学习）以及各类对齐训练算法的重要补充，引领多模态模型朝着更加健壮、值得信赖的方向演进。
结语
综上所述，DEEPO的提出不仅是一次技术创新，更是对当前MLLMs训练痛点的深度剖析。它揭示了在奖励引导下，模型行为修正的内在逻辑，通过双熵机制实现了对模型不确定性的精准把控。对于面对日益严峻的幻觉挑战的产业界而言，关注并借鉴这类基于信息论的优化范式，或许是打破当前瓶颈、构建更安全可靠的多模态AI系统的关键一步。
END