[论文解读] The Doctor Just Won't Accept That!

Zachary C. Lipton|arXiv (Cornell University)|Nov 20, 2017

Explainable Artificial Intelligence (XAI)参考文献 3被引用 55

一句话总结

该论文认为机器学习中的可解释性定义不清晰，与现实世界利益相关者的需求不一致，呼吁在当前学习范式内进行精确的问题定义、利益相关者参与和可行性评估。

ABSTRACT

Calls to arms to build interpretable models express a well-founded discomfort with machine learning. Should a software agent that does not even know what a loan is decide who qualifies for one? Indeed, we ought to be cautious about injecting machine learning (or anything else, for that matter) into applications where there may be a significant risk of causing social harm. However, claims that stakeholders "just won't accept that!" do not provide a sufficient foundation for a proposed field of study. For the field of interpretable machine learning to advance, we must ask the following questions: What precisely won't various stakeholders accept? What do they want? Are these desiderata reasonable? Are they feasible? In order to answer these questions, we'll have to give real-world problems and their respective stakeholders greater consideration.

研究动机与目标

• 澄清 ML 中可解释性的多重含义及其规范性含义。
• 突出 ML 研究者所称的可解释性与利益相关者（如医生、决策者）所要求之间的差距。
• 论证在现有学习框架内，进展依赖于精确的问题表述和可实现的目标。
• 倡导让利益相关者和政策社区参与以指导研究方向。

提出的方法

• 对可解释性定义及其在 ML 文献中的误用进行概念性批评。
• 分析报道的可解释方法与利益相关者需求之间的差距。
• 讨论政策、法律与伦理（如 GDPR、算法公平性）在塑造可解释性期望中的作用。
• 就问题表述和 ML 研究者与外部利益相关者之间的协作提出建议。

实验结果

研究问题

• RQ1 不同的利益相关者对机器学习中的可解释性有何期望？
• RQ2 在当前的监督学习范式下，这些愿望是否可实现？
• RQ3 机器学习界应如何纳入利益相关者意见以推动可解释的 AI？

主要发现

• 可解释性是一个多义词，其定义从简单性到事后解释再到因果理解各不相同。
• 许多可解释性提案缺乏谨慎的问题定义或对利益相关者需求的考虑。
• 研究激励（技术工作）与关于解释应实现什么的基础性问题之间存在错位。
• 政策视角（如 GDPR、算法公平性）在 ML 关于可解释性的研究讨论中代表性不足。
• 推进可解释的 ML 需要明确的问题表述、可行性分析，以及更大程度地让外部利益相关者参与。