破局低资源语言数学推理：小模型监督策略深度解析
低资源语境下的数学推理困境
在当前人工智能浪潮的浪潮中，大规模语言模型展现出了令人惊叹的多模态和多语言能力。然而，对于计算资源有限、参数量较少的小型语言模型而言，尤其是在处理低资源语言时，能力的天花板往往显得尤为明显。孟加拉语作为世界使用人数众多但数字资源相对匮乏的语言，其数学推理能力的挖掘一直是学术界和产业界共同面临的难题。如何在有限的数据和计算预算下，通过精细的监督策略激活模型的推理潜能，成为了打破此类语言能力壁垒的关键一步。
实验设计与协议匹配的严谨性
这项研究构建了一个名为 MathShikkha 的孟加拉语数学推理数据集，并利用 GPT-5.4 生成了相应的理性说明。研究团队对四个规模在 4B 到 7B 之间的学生模型进行了匹配协议的微调。这种设计的核心在于严格控制变量：答题仅条件和链式思维条件共享相同的数据划分、响应掩码、解码方式和评分标准，仅在训练目标上有所不同。这种严谨的对比实验设计，有效排除了因数据或工程实现差异带来的干扰，让研究人员能够更精准地洞察监督范式本身对模型性能的影响。
域内表现：规模效应与监督策略的博弈
在域内测试阶段，研究揭示了一个有趣的现象。对于三个相对强壮的后备模型（即参数量较大的模型），链式思维监督并未带来显著的性能提升。统计分析显示，配对 Bootstrap 95% 置信区间包含零，McNemar 检验的 p 值大于 0.17，这意味着在域内任务上，仅答案监督与链式思维监督之间的差异在统计学上是不显著的。更值得注意的是，尽管链式思维监督生成的 token 数量是答题仅监督的 15-52 倍，但这并未转化为三个强模型的精度提升。这与业界普遍认为“思考越多，答案越准”的直觉形成了某种程度上反差。然而，对于参数量最小的 4B 模型，情况就完全不同了。链式思维监督带来了显著的 18.56 个精度点的提升（p < 0.0001），这表明在资源受限的小模型上，链式思维监督或许能起到关键的引导作用，帮助模型更有效地利用有限的参数进行推理。
域外表现：分布转移下的稳健性优势
将测试范围扩大到更大且经过了污染审计的 BanglaMATH 基准测试后，研究结果出现了戏剧性的逆转。在这一域外测试任务中，链式思维监督显著优于仅答案监督，四个模型的提升幅度均在 20.1-28.1 个精度点之间（所有 p < 0.0001）。这表明，当模型面对超出训练分布的未见数据时，链式思维监督提供的中间推理步骤能够作为一种强大的正则化手段，提升模型的泛化能力。此外，研究还发现了另一个关键的差异化效应：仅答案监督在三个模型中导致了域外精度低于基准模型的情况出现，而链式思维监督则成功保持或甚至提升了所有四个模型的域外精度。这一发现对于实际部署具有重要意义，提示在实际应用中，若需要模型处理未知或变化的数据场景，链式思维监督是更为稳健的选择。
人工评估与可解释性分析
为了深入挖掘链式思维监督带来的实际改进是何来，研究团队组织了一个人工评估研究。该研究包括两位共同作者作为标注者，外部专家进行裁决，并计算了 Cohen's Kappa 系数，结果显示 κ 在 0.76-1.00 之间，表明标注者之间的高一致性。然而，令人惊讶的是，在推理内容的正确性标准上，并未发现链式思维监督相对于基准模型有显著的改进。这意味着，链式思维监督并不能神奇地“让模型思考得更对”，但其可测量的效果在于目标语言的遵循程度以及产出的推理链的可审计性。对于需要在生产环境中使用的应用来说，能够产出符合语言规范、且人类可读、可追踪的推理过程，本身就是一种重要的价值体现，这有助于提升系统的透明度和可信度。
总结与行业展望
综上所述，这项研究通过严谨的受控实验，揭示了孟加拉语数学推理背景下监督策略的复杂性。监督策略的价值并非绝对，而是高度依赖于模型的基础能力和数据的分布特性。在模型相对强大的情况下，链式思维监督可能因生成过多冗余 token 而带来收益递减；而在小模型和域外场景下，它则展现出显著的提升潜力和稳健性。更重要的是，人工评估结果指引我们重新审视模型性能的评价维度：在低资源语言的应用中，确保语言的准确性和推理过程的可解释性，或许比单纯追求精度提升更为关键。这项工作为小型语言模型在多语言数学推理任务上的训练提供了宝贵的经验，也提醒业界在制定训练策略时，需充分考虑模型规模、任务域别以及用户对可解释性的实际需求。