解码模型内部：Mixture-of-Expert架构下的幻觉检测新范式
从表层到内核：LLM 幻觉检测的演进困境
大型语言模型（LLM）的爆发式发展，固然为人类带来了前所未有的创作效率，但也伴随了一个棘手的技术瓶颈——幻觉。这种模型生成的、看似合理实则事实错误的内容，已成为阻碍其在金融、法律、医疗等敏感领域大规模部署的核心短板。现有的检测手段多为事后补救，多集中在答案整体或句子级别的判断，这在处理长文本生成、多轮对话或复杂推理任务时显得力不从心。当模型在数千个 Token 中输出一个错误事实时，如何精准定位那个“错位”的片段，成为了学术界和产业界共同面对的挑战。
传统的检测路径往往依赖于外部知识库的匹配、概率分布的分析或对抗样本的测试，这些方法虽然各有侧重，但普遍存在一个共同缺陷：它们往往忽略了模型内部蕴含的细微征兆。模型在处理信息时，会通过复杂的神经网络层层转换，在这一过程中产生的中间状态、路由选择模式以及专家网络的激活情况，往往蕴含着关于输出可靠性的早期预警信号。然而，以往的研究大多聚焦于模型的输入输出行为，鲜有工作系统性地挖掘这些“内部证据”。
MoE 架构的隐秘语言：专家与路由的动态博弈
为了打破这一僵局，本文聚焦于一种特殊的模型架构——Mixture-of-Experts（MoE）。与传统的全密集模型不同，MoE 架构通过“路由机制”在每一层激活一部分专门的前馈网络（称为 Expert）。这种设计不仅大幅降低了计算成本，更为研究人员提供了独特的“内部窗口”。在 MoE 模型的前向传播过程中，路由器决定将输入分配给哪些专家，而专家之间的竞争、合作以及使用频率，都构成了一套丰富的内部信号体系。这些信号在 dense 模型中是不存在的，也从未被利用于幻觉检测。
研究团队指出，这些内部信号包括但不限于路由熵、专家 disagreement（专家 disagreement）以及专家使用模式。路由熵反映了路由器对输入分配的不确定性，若某个输入导致路由分布异常集中或过于分散，可能预示着模型在处理该信息时遇到了困难；专家 disagreement 则衡量了不同专家对同一输入的处理倾向是否一致，分歧的出现往往暗示着输入的歧义性或模型的困惑；而专家使用模式的变化则可能揭示了模型是否在调动预期之外的资源来应对当前任务。这些信号的组合，如同模型内部的“体检报告”，为后续的幻觉定位提供了基础数据。
InnerExpert：构建从内而外的检测框架
基于上述洞察，研究人员提出了 InnerExpert 方法，这是首个专门利用 MoE 信号实现每个 Token 级别幻觉检测的框架。InnerExpert 的核心创新在于将原本分散的内部信号转化为统一的、可供分类器消费的特征向量。具体而言，该方法首先收集每一层中路由器的输出、专家的激活状态以及相应的内部激活值，经过精心设计的特征工程处理后，将其压缩为每个 Token 对应的紧凑特征向量。
随后，InnerExpert 采用了一种基于“LLM-as-a-judge”管道的间接监督方式。由于人工标注每个 Token 是否为幻觉的成本极高，研究人员利用更强大的 LLM 进行判断，生成大规模的训练标签。这种方式既规避了人工标注的繁琐，又保证了训练数据的质量。然后，一个轻量级的分类器被训练以识别这些特征向量中的幻觉模式。值得注意的是，该分类器的设计考虑了实时性要求，确保仅需模型的单次前向传播即可完成检测，这在实际部署场景中具有极高的实用价值。
实验验证与性能突破
为了验证 InnerExpert 的有效性，研究人员在五个不同的数据集上进行了实验测试，并覆盖了两种不同的 MoE 架构。实验结果堪称亮眼。在答案层面的评估指标 AUROC（Area Under Receiver Operating Characteristic curve）上，InnerExpert 的表现优于现有的所有对比方法，达到了 0.91 的高水平，这意味着该方法在判断整体输出是否存在幻觉方面具有极高的敏感度。更为重要的是，在 Token 层面的检测任务中，该方法同样表现出色，达到了 0.76 的 AUROC 分数。这一指标的提升，直接意味着能够更精准地定位出哪一个具体的 Token 或短句出现了错误，为后续的纠错或人工介入提供了明确的坐标。
性能的提升并非偶然。InnerExpert 能够捕捉到dense 模型所未能触及的内部细节。例如，当模型面对一个含有微妙事实错误的问题时，某些专家可能会因为冲突的知识激活而表现出异常的 disagreement，或者路由器会因信息冲突而产生高熵状态。这些微小的内部波动，在 InnerExpert 的特征提取机制下被转化为清晰的检测信号。相比于需要多次前向传播或复杂外部验证的方法，InnerExpert 的单次传播效率极高，这对于实时的对话系统和大规模的批量处理任务来说，是一个不可多得的加分项。
展望：从“事后补救”到“实时纠错”的范式转移
这项研究的意义远不止于一个新检测算法的诞生。它标志着 LLM 可靠性研究的一个重要转折点。过去，我们往往是在模型输出错误后才去发现和纠正；而有了基于 MoE 内部信号的检测能力，未来的 LLM 系统有潜力实现“实时纠错”。想象一下，在模型即将生成下一个 Token 之前，系统就能通过内部信号预警：“注意，当前路由模式异常，存在较高的幻auchination 风险”，从而触发备用方案、请求人工复核或调整生成策略。
当然，这项技术的落地仍面临诸多挑战。MoE 架构本身的复杂性要求路由机制的稳定性，不同领域的幻觉特征可能各异，需要在不同的模型配置下进行鲁棒性验证。此外，如何在不牺牲模型原有性能的前提下，平衡内部信号的提取与主任务的生成，也是未来需要深入探讨的课题。但可以预见的是，随着此类“内省”式检测方法的不断成熟，LLM 的安全边界将不断扩大，我们正逐步走向一个更加可信、可控的生成式 AI 时代。