深度剖析：MoE模型敏感度的深层结构洞察与稀疏化路径
从稀疏激活到结构精修
大语言模型的飞速发展离不开架构创新的驱动。Mixture-of-Experts（MoE）架构以其在保持计算效率的同时实现规模化扩展的独特优势，成为了目前业界关注的焦点。这种模式通过激活仅细分部分专家的方式，在有效利用算力的同时维持了模型的表达能力。然而，随着模型规模的不断膨胀，关于模型内部结构的重要性评估却始终滞后。现有的研究大多聚焦于整体性能指标，对于各个具体层级的敏感度分布、特别是在模型压缩与精修场景下的相对重要性，仍然知之甚少。这正是本文旨在填补的研究空白。
实证基础与实验设计
本研究选取了Qwen3.6-35B-A3B这一开源模型作为实验对象。该模型拥有40个MoE层，每层配置256个专家，采用 top-8 路由策略。为了确保实验结果的统计显著性，作者构建了基于 XLCoST 跨语言代码翻译基准的测试套件，并跨越了 100、300 以及 500 三个不同规模的提示词评估阶段。实验环境部署在三台配备 H100 GPU 的服务器上，这保证了计算资源的充足与测试的可重复性。这种多阶段、多规模的实验设计，为揭示模型敏感度的深层规律提供了坚实的数据支撑。
深层结构的敏感度图谱
研究最核心的发现在于对模型各层敏感度的深度剖析。通过幅值基础的专家掩码操作，研究人员绘制出了一张清晰的“敏感度地图”。结果显示，模型的前 10 层（早期层）和中间层（10-29层）对专家掩码极为脆弱，掩膜操作会导致性能出现显著下降。与此形成鲜明对比的是，后 10 层，尤其是最后 5 层（35-39层）展现出了极强的容错能力。在这些极后层进行激进的低幅度专家掩膜，在保持输出质量的前提下，可以实现大规模的专家剪枝。
掩码策略的效果对比
为了验证上述观察结果，研究团队对比了“全层掩码”与“后期层聚焦掩码”两种策略的效果。在 300 个提示词的评估规模下，简单的全层 30% 掩码只保留了 150 条标记为 Good+Similar 的输出。而针对后期层的有策略掩码，即便掩膜了 640 到 1,145 个专家，依然能保留 249-255 条优质输出。这种显著的差异直接证明了“后期层优先”的掩码策略在维持模型性能方面的优越性。
进一步的路由宽度压缩
除了专家掩码，研究还探索了 top-k 路由宽度的降低。实验表明，将每个 token 激活的专家数量从 8 降低到 6，在 100 个提示词的探针测试中，虽然没有导致 Good+Similar 输出的损失，但观测到了较大的实际时钟周期缩减。然而，研究人员也指出，这种降低路由宽度的策略与激进的专家掩码尚未能够完美兼容，这也提示了在实际工程落地过程中需要进一步的调优与组合策略。
大规模验证与最优平衡
在 500 个提示词的 held-out（ held-out 指 held-out validation slice，即 hold-out 验证片段）验证集上，研究进一步验证了上述结论。采用聚焦于后 5 层（35-39）且掩膜幅度为 50% 的最窄策略时，模型在保留 419/500 Good+Similar 输出的同时，仅掩膜了 640 个专家。这意味着在 10,240 个总专家中，仅有 6.25% 的专家被保留或未被掩膜，其余专家均可被安全剪枝。这一发现不仅展现了模型结构的冗余性，也为后续的物理权重手术（physical weight surgery）提供了极具针对性的指引。
展望与行业意义
本文的研究成果对于 MoE 模型的优化方向具有划时代的意义。它实证性地证明了深度方向上的敏感度不均衡，为“深度感知的 MoE 专家掩码”提供了坚实的数据基础。这不仅为物理层面的权重剪枝指明了方向，也为基于激活的专家评分机制以及训练-based 的恢复策略开辟了新的路径。对于追求大模型高效部署的产业界而言，这项工作为实现模型的精修与压缩提供了一条既保质又节算的务实路径。未来，随着此类深度敏感度分析方法的不断成熟，我们有理由期待在模型架构设计与精修算法上取得更突破性的进展。