[论文解读] Transformation Importance with Applications to Cosmology

Chandan Singh, Woo‐Seok Ha+4 more|arXiv (Cornell University)|Mar 4, 2020

Computational Physics and Python Applications参考文献 29被引用 9

一句话总结

本文提出了一种后训练方法——转换重要性（TRIM），用于将模型可解释性归因于经过变换的输入特征（如宇宙质量图中的频率分量），从而实现超越原始特征的领域特定解释。结合上下文分解应用于宇宙学中的深度神经网络，TRIM 显示模型在功率谱中优先关注特定尺度（例如 ℓ ≈ 10⁴），该结果与物理直觉一致，验证了模型依赖于宇宙学上有意义的特征而非模拟伪影。

ABSTRACT

Machine learning lies at the heart of new possibilities for scientific discovery, knowledge generation, and artificial intelligence. Its potential benefits to these fields requires going beyond predictive accuracy and focusing on interpretability. In particular, many scientific problems require interpretations in a domain-specific interpretable feature space (e.g. the frequency domain) whereas attributions to the raw features (e.g. the pixel space) may be unintelligible or even misleading. To address this challenge, we propose TRIM (TRansformation IMportance), a novel approach which attributes importances to features in a transformed space and can be applied post-hoc to a fully trained model. TRIM is motivated by a cosmological parameter estimation problem using deep neural networks (DNNs) on simulated data, but it is generally applicable across domains/models and can be combined with any local interpretation method. In our cosmology example, combining TRIM with contextual decomposition shows promising results for identifying which frequencies a DNN uses, helping cosmologists to understand and validate that the model learns appropriate physical features rather than simulation artifacts.

研究动机与目标

• 解决现有可解释性方法仅将重要性归因于原始输入特征的局限性，这些特征在科学语境中可能语义模糊或具有误导性。
• 通过将模型重要性归因于输入数据的物理上有意义的变换（如弱引力透镜图的功率谱），实现在宇宙学中的可解释机器学习。
• 通过在频域分析特征重要性，验证在模拟宇宙学数据上训练的深度神经网络是否学习了物理相关的特征而非数值伪影。
• 通过在任意可逆变换特征空间（如傅里叶域或小波域）中实现后训练归因，将可解释性推广至像素级归因之外。

提出的方法

• TRIM 将训练好的模型 f(x) 重参数化为 f′ = f ∘ T⁻¹，其中 T 是可逆变换（如傅里叶变换），从而实现在变换空间 S 中的解释。
• 该方法将任意局部归因方法（如上下文分解）应用于 f′，以在变换域 S 中计算重要性分数，例如功率谱中的频带。
• 对于非可逆变换，引入残差重建误差以在解释过程中保持保真度。
• 该方法完全为后训练方法，无需重新训练原始模型，且与任何可微或基于梯度的归因方法兼容。
• 通过使用具有已知真实重要频率的合成数据对方法进行评估，结果表明其在恢复真实特征重要性方面优于基线方法。

实验结果

研究问题

• RQ1 可解释性方法能否被适配以将重要性归因于变换后的特征（如频带）而非原始特征，从而提升科学领域中的可解释性？
• RQ2 在宇宙参数估计中使用的深度神经网络是否依赖于物理上有意义的特征（如功率谱中的特定尺度），而非模拟伪影？
• RQ3 功率谱中不同频带的重要性如何随真实宇宙学参数 Ωₘ 变化，且是否与已知物理预期一致？
• RQ4 TRIM 结合上下文分解能否在具有受控结构的合成数据中准确恢复已知的真实特征重要性？

主要发现

• TRIM 显示，深度神经网络在预测 Ωₘ 时优先关注功率谱中 ℓ ≈ 10⁴ 附近的频带，该尺度对物质密度敏感。
• 这些特征的重要性随 Ωₘ 值升高而增强，表明模型会根据底层宇宙学参数调整其对特定尺度的依赖。
• 在具有已知重要频率的合成数据中，TRIM 结合上下文分解的平均误差仅为 0.4%，显著优于 DeepLift（3.6%）、SHAP（4.0%）和积分梯度（4.2%）。
• 模型的归因模式与宇宙学知识一致：ℓ ≈ 10⁴ 左右的结构对应星系团，对 Ωₘ 极为敏感。
• TRIM 能够检测模型对物理特征的依赖而非模拟伪影，从而增强对基于 DNN 的宇宙学推断的信任。
• 该方法具有通用性，可应用于任意可逆变换（如小波、主成分分析、傅里叶变换），并可与任意局部解释方法结合使用。