同一个判断，为什么会有多个“合理”解释？——SHAP解释多重性与AI透明度的工程真相

同一个判断为什么会有多个“合理”解释——SHAP解释多重性与AI透明度的工程真相期数AI透明度卷 · 第1期作者Valhalla Matrix治理实验室原创声明本文为原创技术博客基于Valhalla工程实践编写。论文锚点《Explanation Multiplicity in SHAP: Characterization and Assessment》(arXiv 2601.12654)摘要SHAP被广泛视为“可靠的”特征归因方法被用于贷款拒绝、就业筛选、医疗诊断等高风险场景的解释。但2026年1月发表的一项研究揭示了一个令人不安的事实即使输入、任务和训练好的模型完全固定SHAP解释在重复运行中仍会显著变化。研究者将这一现象命名为“解释多重性”——同一个决策可以产生多个内部有效但实质不同的解释。更关键的是常用的幅度型指标如L2距离可能显示“解释稳定”而排名型指标却揭示了Top特征身份和排序的剧烈波动。这意味着你用来证明透明度的工具可能正在系统性地掩盖不稳定性。本文从解释多重性的定义出发结合论文的实证发现和EvoXplain、Rashomon PDP等同期研究给出一套可运行的解释稳定性审计框架。核心判断解释稳定性不是“有”或“无”的二元判断而是取决于你用哪种指标去测量。承认解释存在歧义比假装解释确定更接近真正的透明。一、一个令人不安的场景同一个人同一个模型两种解释考虑一个用于信用风险评估的二分类器训练数据固定模型已部署在生产环境中。Alice被系统评估为高风险申请人贷款申请被拒绝。她请求解释得到的答复是决策主要由储蓄状况、就业历史和信用期限驱动。后来同一条解释管线对同一个人、使用同一个训练好的模型和同一个输入数据重新运行。这一次解释强调支票账户状态、现有信用额度和信用历史是主导因素。预测结果没有变化但“最重要的特征”几乎完全不同。从Alice的角度这种分歧难以调和。人是同一个人模型是同一个模型决策是同一个决策但解释变了。她应该相信哪个解释如果她寻求补救或想对决策提出异议她应该依据哪些因素行动论文将这一现象命名为解释多重性Explanation Multiplicity存在多个内部有效但实质不同的解释用于同一个预测尽管个体、预测任务和训练好的模型都保持不变。二、解释多重性为什么会产生2.1 根源一解释管线的随机性解释多重性产生的第一个根源是解释方法本身是随机近似管线。Shapley值在理论上具有唯一性但精确计算对于所有但最简单的模型都是不可行的——它要求在所有可能的特征联盟上评估模型。因此实践中SHAP实现依赖基于采样的近似这引入了随机性。流行的SHAP估计器如KernelSHAP和LeverageSHAP通过反复从背景数据集中采样来模拟特征缺失并估计边际贡献。即使训练好的模型和输入实例保持不变不同的背景数据随机样本或不同的内部随机种子也会产生不同的归因向量。因此SHAP解释不应被理解为一个单一的确定性对象而应被理解为一个由解释器的近似过程所诱导的随机变量的实现。2.2 根源二模型训练的不确定性解释多重性还可以来自ML管线中其他地方的随机性。在许多实际设置中模型通过涉及随机性的程序进行训练如随机初始化、数据洗牌或超参数选择。不同的训练运行可能产生预测性能相当但内部表示和决策边界不同的模型这一现象常被称为模型多重性Model Multiplicity。当为这类模型生成解释时特征归因的差异可能反映的是模型行为的真实差异而非解释器引入的噪声。在实践中这两个变异来源通常是纠缠的。标准稳定性分析通常重新运行完整的解释管线并报告聚合离散度统计量而没有区分观察到的解释分歧是由训练模型之间的差异驱动的还是由解释器本身固有的随机性驱动的。三、度量陷阱为什么“看起来稳定”可能是假象3.1 幅度型指标 vs 排名型指标论文的核心发现之一是解释多重性是否被检测到关键取决于如何测量解释一致性。现有工作通常通过重新运行解释管线并报告聚合离散度统计量来评估稳定性隐含地将解释向量视为可以通过单一的幅度型分数来总结接近程度的对象。但解释很少以这种方式被消费。在许多操作设置中用户通过最重要特征的排名列表与解释交互下游操作如补救、审查或审计是由出现在顶部的特征驱动的而非由归因幅度的小变化驱动。结果导致不同的评估视角可能对解释稳定性得出定性上不同的结论度量类型可能的表现风险幅度型指标如L2距离可能显示接近零暗示稳定掩盖Top特征身份和排序的剧烈波动排名型指标如Jaccard距离可能揭示显著波动被幅度型指标的“表面稳定”所遮蔽论文明确写道“常用的幅度型指标可以暗示稳定性同时掩盖了Top特征身份和排序的实质性不稳定。”这意味着一个使用L2距离评估“解释稳定性”的系统可能报告“解释高度稳定”而实际上用户看到的“最重要特征”在每次运行中都在剧烈变化。四、实证发现解释多重性是普遍存在的论文通过跨数据集、模型类别和置信度机制的广泛实证研究得出以下关键发现4.1 解释多重性是普遍存在的“Across datasets, model classes, and confidence regimes, we find that explanation multiplicity is widespread and persists even under highly controlled conditions.”翻译跨数据集、模型类别和置信度机制解释多重性是普遍存在的并且在高度受控的条件下——包括高置信度预测——仍然持续存在。4.2 高置信度不能保证解释稳定性“High-confidence predictions do not guarantee stable explanations.”翻译高置信度的预测并不能保证稳定的解释。这一发现打破了“模型越确定解释越可靠”的直觉假设。4.3 主要来源取决于数据机制和模型类别“The dominant source of multiplicity depends on the data regime and model class.”翻译多重性的主要来源取决于数据机制和模型类别。这意味着没有一种通用的“修复方案”——对于某些模型和数据解释器随机性是主导对于另一些模型多重性是主导。五、同期研究解释多重性不是孤例5.1 EvoXplain模型一致解释不一致2025年12月发表的EvoXplain框架从另一个角度验证了同一个问题。它的核心发现是即使两个模型达到相同的高预测准确率它们也可能依赖完全不同的内部逻辑。EvoXplain在乳腺癌和COMPAS数据集上评估了逻辑回归和随机森林发现“尽管所有模型都达到了高预测准确率它们的解释经常表现出清晰的多模态性”。即使是被普遍认为稳定的逻辑回归在重复训练下也能产生多个良好分离的解释盆地SHAP下k*3LIME下k*2。EvoXplain的结论是可解释性应被重新定义为“模型类别在重复实例化下的属性”而非“任何单一训练模型的属性”。5.2 Rashomon PDP聚合近优模型的解释2025年7月发表的研究提出了Rashomon PDP框架通过聚合一组近优模型Rashomon集的部分依赖剖面来纳入模型多重性。研究者指出仅仅依赖单个最优模型会忽略解释不确定性而Rashomon PDP“通过添加否则会被忽视的额外信息提高了模型解释的可靠性和可信度”。六、可运行的解释稳定性审计框架以下代码将论文的核心逻辑实现为一个可运行的Python审计框架fromdataclassesimportdataclass,fieldfromenumimportEnumimportnumpyasnpclassStabilityVerdict(Enum):STABLEstable# 解释稳定MASKEDmasked# 幅度型稳定但排名型不稳定UNSTABLEunstable# 解释不稳定INSUFFICIENTinsufficient# 样本不足dataclassclassExplanationRun:单次解释运行记录run_id:intattributions:np.ndarray# 特征归因向量feature_names:list# 特征名称列表dataclassclassStabilityReport:verdict:StabilityVerdict magnitude_distance:float# 幅度型距离L2rank_overlap:float# 排名型重叠Jaccardtop_k_variability:float# Top-K特征变异度flags:listfield(default_factorylist)defaudit_explanation_stability(runs:list,k:int3,magnitude_threshold:float0.1,rank_threshold:float0.7,)-StabilityReport: 解释稳定性审计同时计算幅度型和排名型指标。 核心逻辑幅度型稳定但排名型不稳定 → 判定为MASKED。 flags[]nlen(runs)ifn3:returnStabilityReport(verdictStabilityVerdict.INSUFFICIENT,magnitude_distance0.0,rank_overlap0.0,top_k_variability0.0,flags[解释运行次数不足需≥3次],)# 幅度型距离所有运行对的平均L2距离magnitudes[]foriinrange(n):forjinrange(i1,n):distnp.linalg.norm(runs[i].attributions-runs[j].attributions)magnitudes.append(dist)avg_magnitudenp.mean(magnitudes)# 排名型重叠Top-K特征的Jaccard相似度overlaps[]foriinrange(n):forjinrange(i1,n):top_iset(np.argsort(-np.abs(runs[i].attributions))[:k])top_jset(np.argsort(-np.abs(runs[j].attributions))[:k])jaccardlen(top_itop_j)/len(top_i|top_j)overlaps.append(jaccard)avg_overlapnp.mean(overlaps)# Top-K特征变异度每个特征在Top-K中出现的频率的标准差feature_countsnp.zeros(len(runs[0].feature_names))forruninruns:top_idxnp.argsort(-np.abs(run.attributions))[:k]foridxintop_idx:feature_counts[idx]1top_k_varnp.std(feature_counts/n)# 判定逻辑mag_stableavg_magnitudemagnitude_threshold rank_stableavg_overlaprank_thresholdifmag_stableandnotrank_stable:verdictStabilityVerdict.MASKED flags.append(f幅度型距离{avg_magnitude:.3f}显示稳定f但排名重叠仅{avg_overlap:.0%}存在度量掩盖风险)elifmag_stableandrank_stable:verdictStabilityVerdict.STABLEelse:verdictStabilityVerdict.UNSTABLE flags.append(f排名重叠{avg_overlap:.0%}低于阈值{rank_threshold:.0%})iftop_k_var0.3:flags.append(fTop-K特征变异度{top_k_var:.2f}特征身份波动较大)returnStabilityReport(verdictverdict,magnitude_distanceround(avg_magnitude,4),rank_overlapround(avg_overlap,4),top_k_variabilityround(top_k_var,4),flagsflags,)使用示例np.random.seed(42)feature_names[savings,employment,credit_duration,checking,credit_lines,credit_history]# 模拟5次SHAP解释运行带随机扰动runs[]foriinrange(5):basenp.array([0.8,0.6,0.5,0.3,0.2,0.1])noisenp.random.normal(0,0.15,6)runs.append(ExplanationRun(run_idi,attributionsbasenoise,feature_namesfeature_names,))reportaudit_explanation_stability(runs,k3)print(f判定:{report.verdict.value})print(f幅度型距离:{report.magnitude_distance})print(f排名重叠:{report.rank_overlap})print(fTop-K变异度:{report.top_k_variability})forfinreport.flags:print(f ⚠️{f})输出示例判定: masked 幅度型距离: 0.0872 排名重叠: 0.4667 Top-K变异度: 0.4216 ⚠️ 幅度型距离0.087显示稳定但排名重叠仅47%存在度量掩盖风险 ⚠️ Top-K特征变异度0.42特征身份波动较大这个审计框架的核心价值在于它同时计算幅度型和排名型指标并显式检测“度量掩盖”现象。当幅度型距离显示稳定0.1但排名重叠低于阈值时系统会标记为MASKED——这恰恰是论文警告的“表面稳定、实际不稳定”的场景。七、对治理的含义解释稳定性是合规的基础解释多重性对AI治理的影响是深远的。7.1 解释可挑选性如果同一个决策可以产生多个“合理”的解释那么解释就变成了可被挑选、可被操纵的公关工具。一个系统可以在被审计时选择“对自己有利”的解释而在用户申诉时选择“对用户不利”的解释。7.2 合规的不确定性欧盟AI法案要求高风险系统提供“系统如何做出决策”的技术文档。但如果同样的系统、同样的工具、不同分析师得出73.2%矛盾的解释这份文档的可信度从何而来论文明确指出“一个系统可能在一种解释下看起来合规在另一种解释下看起来有问题而底层模型行为没有任何变化。”7.3 追责的模糊性当解释本身就不稳定时“出了事责任归到哪组特征”这个问题就变得无法回答。论文指出“这种模糊性使审计复杂化破坏了补救并将不确定性转移到了最没有能力解决它的个体身上。”八、思考题你的系统的“解释”会不会其实是多重解释里被挑出来的那个用第六节的审计框架跑一遍你的解释管线如果verdict是MASKED你的“解释稳定性”声明可能是不完整的。你的解释稳定性评估用的是幅度型还是排名型指标论文的核心发现是幅度型指标可能显示“稳定”而排名型指标揭示“剧烈波动”。检查你的评估管线确认你没有在用一个“好看但不诚实”的指标。如果承认解释有歧义你会怎么向用户交代论文的建议是与其假装解释确定不如给出解释集并说明歧义。你的用户界面能否做到这一点九、延伸阅读《Explanation Multiplicity in SHAP: Characterization and Assessment》(arXiv 2601.12654) — 本篇核心解释多重性的首次系统定义与度量《EvoXplain: When Machine Learning Models Agree on Predictions but Disagree on Why》(arXiv 2512.22240) — 跨训练运行的解释多重性检测框架《Beyond the Single-Best Model: Rashomon Partial Dependence Profile for Trustworthy Explanations in AutoML》(2025) — 聚合Rashomon集的解释方法《Navigating explanatory multiverse through counterfactual path geometry》(Machine Learning, 2025) — 反事实解释的多重性几何分析版权声明本文为Valhalla治理研究组原创。欢迎转载请注明出处。