[论文解读] The Need for Interpretable Features: Motivation and Taxonomy

Alexandra Zytek, Ignacio Arnaldo+3 more|arXiv (Cornell University)|Feb 23, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文主张机器学习模型的可解释性取决于其特征的可解释性，提出了一套形式化的可解释特征属性分类体系，如有意义、可理解、人类可读、可模拟等，以指导生成具有行动性且与领域相关的解释。文章引入了语义分箱、非标准化编码等转换方法，将模型可用的特征转化为可解释的形式，强调特征可解释性与模型性能同等重要，对于现实世界中的决策至关重要。

ABSTRACT

Through extensive experience developing and explaining machine learning (ML) applications for real-world domains, we have learned that ML models are only as interpretable as their features. Even simple, highly interpretable model types such as regression models can be difficult or impossible to understand if they use uninterpretable features. Different users, especially those using ML models for decision-making in their domains, may require different levels and types of feature interpretability. Furthermore, based on our experiences, we claim that the term "interpretable feature" is not specific nor detailed enough to capture the full extent to which features impact the usefulness of ML explanations. In this paper, we motivate and discuss three key lessons: 1) more attention should be given to what we refer to as the interpretable feature space, or the state of features that are useful to domain experts taking real-world actions, 2) a formal taxonomy is needed of the feature properties that may be required by these domain experts (we propose a partial taxonomy in this paper), and 3) transforms that take data from the model-ready state to an interpretable form are just as essential as traditional ML transforms that prepare features for the model.

研究动机与目标

• 解决在现实世界机器学习应用中，非技术领域专家真正理解特征可解释性的机制这一理解上的空白。
• 论证模型可解释性从根本上受限于其输入特征的可解释性，而不仅仅是模型架构本身。
• 开发一套正式的特征属性分类体系（例如：有意义、可理解、人类可读），以支持在多样化领域中的可用性。
• 强调特征转换（如语义分箱和非标准化编码）的重要性，这些转换弥合了模型就绪特征空间与可解释特征空间之间的差距。
• 倡导将机器学习开发的重点从单一关注模型性能，转向特征在决策工作流中的可用性。

提出的方法

• 基于儿童福利、医疗保健和网络安全等领域的实际部署，提出可解释特征属性的分类体系。
• 识别关键转换方法（如语义分箱、分类编码和未标记插补），将原始数据转化为可解释的特征。
• 将用户角色（如决策者、伦理学家）与所需特征属性进行映射，展示不同利益相关者对可解释性的不同需求水平。
• 引入“可解释特征空间”的概念，作为特征的一种独立状态，其特征对领域专家具有意义且可操作。
• 建议将可解释特征转换集成到机器学习流程中，与归一化、独热编码等传统预处理步骤同等对待。
• 通过五个领域（儿童福利、教育、网络安全、电子健康记录、卫星监测）的案例研究，将分类体系与实践相结合。

实验结果

研究问题

• RQ1 在现实世界机器学习应用中，哪些具体特征属性使其对非技术领域专家具有可解释性和实用性？
• RQ2 不同利益相关者角色（如决策者、伦理学家、开发者）对特征可解释性的需求水平和类型有何不同？
• RQ3 需要哪些转换方法，才能将模型就绪的特征转化为对领域专家而言有意义、可理解且人类可读的特征？
• RQ4 特征空间的选择如何影响机器学习解释的保真度、隐私性和性能？
• RQ5 在为可解释性而进行特征工程时，可解释性、模型性能与数据隐私之间的权衡是什么？

主要发现

• 即使使用简单的模型（如线性回归），当输入特征不可解释时，模型也会变得不透明，证明模型可解释性依赖于特征可解释性。
• 特征必须具备有意义、可理解、人类可读和可读性，才能对无机器学习专业知识的决策者具有实用性，这在儿童福利和医疗保健应用中已得到验证。
• 语义分箱和非标准化编码等转换方法对创建可解释特征至关重要，而模型就绪的转换方法（如独热编码或标准化插补）则会降低可解释性。
• 可解释特征空间并非单一状态，而是一个根据特定用户需求定制的属性谱系，在网络安全和教育等不同领域具有不同的需求。
• 有意的特征工程（如将敏感变量分组为抽象概念）可能隐藏模型偏见，从而在高风险应用中带来伦理风险。
• 优先考虑可解释特征可能降低模型性能并损害数据隐私，因此在特征设计中需要根据上下文进行权衡。