866ai

XAI-Arena:大模型是否能成为可解释性评审的“金标准”?

· 0 次浏览 ·来源: 866ai
arXiv:2609.09428v1 Announce Type: new Abstract: Evaluating the quality of explanations produced by explainable AI (XAI) methods remains challenging because existing approaches often rely on subjective human judgment, limiting reproducibility, scalability, and comparability between studies. We examine whether LLMs can serve as a reproducible and scalable mechanism to make comparative assessments of the quality of XAI explanations....

从主观判断到客观基准的范式转移

在可解释人工智能(XAI)的研究浪潮中,评估解释质量的方法长期受困于主观性的困境。传统的评估路径多依赖人工标注,这不仅成本高昂,且因评审人视角的差异而导致结果难以复现、难以扩展。随着大型语言模型(LLM)能力的突破,业界开始探索利用算法替代人工,以期实现评估体系的工业化与标准化。然而,LLM作为评审员的可靠性尚未得到充分验证,其输出是否真正具备参考价值,仍是学术界和产业界共同面临的疑问。

竞技场中的智者:评估机制的设计逻辑

文章引入了“竞技场”范式,构建了一个多模型交互的评估生态。在该框架下,不同的XAI方法被要求针对同一份模型预测输出生成解释,随后由多个大模型评审员进行比对和打分。这种设计巧妙地规避了单一评审员偏见的影响,通过集体智慧的方式收敛到相对客观的质量量级。评审维度涵盖了解释的准确性、简洁性以及对用户决策的辅助效果等核心指标。这种基于任务的比拼模式,不仅提高了评估的效率,更为不同解释策略之间的直接对标提供了可能。

揭示当前解释的软肋:逻辑与意图的错位

通过大规模实验数据的分析,研究组发现,现有的XAI解释在通过LLM评审时表现出显著的两极分化。一方面,那些基于梯度归因或注意力机制的方法,在技术层面往往表现出色,能够精准定位模型关注的特征区域;但另一方面,它们在逻辑自洽性和人类可理解性方面往往乏力,生成的解释往往流于技术细节,难以转化为用户实际需要的决策依据。更有趣的是,那些专为提升人类可解释性而设计的解释方法,在LLM的评审标准下并未必占据优势,这暴露了“技术解释”与“用户解释”之间的根本鸿沟。

跨模型的共识与可比性挑战

文章的另一核心发现集中在可比性问题上。由于不同XAI方法各有其底层假设和数学基础,直接进行横向比较在以往研究中几乎是一句空话。然而,基于竞技场框架的评估结果表明,只要评审提示词的设计足够精准,大模型竟然能够跨越方法的技术壁垒,识别出哪种解释更符合逻辑、哪种更贴近用户意图。这表明,LLM并非单纯的“复读机”,而是具备一定的语义理解能力,能够在不同解释体系中寻找共性,为构建跨方法的质量基准奠定了可能性。

前瞻:可信AI评估体系的重塑

展望未来,这种利用大模型进行XAI质量自动评估的思路具有重要的现实意义。它不再局限于单一解释方法的优劣比较,而是有潜力演变成一个动态的、可迭代的评估平台。对于监管机构而言,这意味着可以更低成本地对部署在生产环境中的模型进行合规检查;对于开发者而言,则提供了一个实时的反馈回路,指导解释策略的优化迭代。当然,这也提出了新的命题:如何确保LLM评审员自身的鲁棒性和安全性,避免其被对抗样本欺骗或引入新的偏见,将是接下来研究的关键突破点。

END