从合成数据到现实世界：基础模型时代的因果发现基准测试全景解析
评估体系的根本性重构
在人工智能的浩瀚星图中，因果发现始终扮演着连接观察与干预的关键角色。它不再局限于单纯的统计相关性，而是试图揭示事物之间的因果机制，为科学推理和基于干预的决策提供基石。然而，随着大模型浪潮的兴起，因果发现领域正经历着前所未有的范式转型。传统的评估方法，长期依赖于结构化的因果模型，却在面对新一代因果发现基础模型（CDFMs）时显得捉襟见肘。评估结果往往难以解释，甚至可能因预训练环境与测试模型的重叠而产生虚假的高分。
正如业界所共识的，现有研究在图族、机制和评估协议上存在显著分歧，这使得横向对比如同盲人摸象。有人关注合成图结构的完美重构，有人追求在特定机制下的算法效率，却鲜少有人能构建一个统一、可演进的评估基准。这种局面导致了一个尴尬的局面：在一个精心设计的合成基准上表现优异的模型，在面对真实世界的语义环境时可能束手无策。这种“基准依赖性”严重制约了因果发现模型的实际应用价值，也使得学术界对新方法的真实能力产生了质疑。
CausalArena：从控制到语义的多维评估
为了打破这一僵局，CausalArena 应运而生。它不仅仅是一个简单的测试集，更是一个统一且可演进的基准平台，旨在为因果发现提供一套共同的评估协议。其设计理念巧妙地融合了三类不同性质的结构化因果模型（SCM），每一类都有其独特的侧重点和价值。
首先，合成 SCM 提供了受控的广度。它们如同精密的实验室试剂，涵盖了从简单的线性关系到复杂非线性结构的广泛图族和机制。这种设计的优势在于可控性，研究者可以精确调控变量之间的关系，从而在实验中隔离出特定因素对算法性能的影响。然而，这种“完美”的环境也存在天然的局限性，即往往缺乏现实世界的噪声和复杂性，这也正是后续评估维度需要填补的空白。
其次，语义运算 SCM 引入了“人可审计”的维度。这类模型超越了标准的合成生成器，提供了语义上有根有据的环境。它们不仅仅是抽象的图结构，更包含了人类可以理解和验证的语义信息。这种设计旨在弥合算法输出与人类直觉之间的鸿沟，让因果发现的结果不再是一个不可解释的黑盒，而是一个可以被审查、被信任的逻辑链条。对于需要高度透明度的领域，如医疗诊断或金融风控，这种语义 grounding（语义基地）属性至关重要。
最后，公式化 SCM 则是对科学机制的直接考验。这些模型植入了明确的、基于公式的科学机制，旨在测试模型在面对明确科学机制时的表现。它们验证模型是否能够正确识别和重构源自既定科学定律的因果结构。这种考验对于需要严格科学验证的应用至关重要，确保因果发现的输出符合既定的科学规范。
综合来看，CausalArena 通过这三类 SCM 实现了从控制到语义再到科学机制的全方位评估，旨在消除单一基准带来的偏差，为评估因果发现基础模型提供更可靠的依据。
实验揭示的性能波动与基准多样性
CausalArena 的实验结果揭示了一个核心事实：不同的因果发现方法在不同类型的结构化因果模型（SCM）上表现差异巨大。实验涵盖了经典算法、神经网络方法以及预训练的基础模型，结果显示，同一算法在合成 SCM、语义运算 SCM 和公式化 SCM 之间的排名可能发生剧烈转变。特别是预训练模型的性能高度依赖于预训练环境与测试 SCM 之间的重叠程度，一旦这种重叠被打破，原本占据榜首的模型可能会掉落到中下游。这些发现表明，必须在多个 SCM 类型上进行评估，才能全面了解一个方法的真实能力，避免仅依赖单一基准得出误导性结论。
未来展望：合成与现实的桥梁
尽管 CausalArena 提供了一个统一的评估框架，但在合成数据与现实世界数据之间构建稳健的桥梁仍然是一项挑战。现实世界的数据往往包含复杂的噪声、缺失值以及未建模的干扰因素，这些都可能导致评估结果偏离预期。未来的研究需要探索如何在保持可控性的同时，引入更逼真的数据生成过程；以及如何利用现实世界的数据对合成基准进行校验，确保评估协议的外部效度。只有当合成与现实数据之间的转换变得可靠时，因果发现在基础模型时代的评估才能真正落地，为科学推理和干预-based 决策提供可信的支持。