[论文解读] Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning (WHI 2018)

Been Kim, Kush R. Varshney+1 more|arXiv (Cornell University)|Jul 3, 2018

Natural Language Processing Techniques被引用 14

一句话总结

本论文集收录了2018年ICML人类可解释性机器学习研讨会（WHI 2018）的会议论文，汇集了人工智能可解释性领域顶尖专家的特邀报告。该研究推进了使机器学习模型对人类更透明、更易理解的方法，关键贡献涵盖模型解释、可视化以及以人为中心的可解释性框架。

ABSTRACT

This is the Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning (WHI 2018), which was held in Stockholm, Sweden, July 14, 2018. Invited speakers were Barbara Engelhardt, Cynthia Rudin, Fernanda Viégas, and Martin Wattenberg.

研究动机与目标

• 探索并推进提升机器学习模型对人类用户可解释性的方法。
• 应对在高风险决策场景中对人工智能系统透明度日益增长的需求。
• 促进机器学习研究人员与人机交互专家之间的跨学科对话。
• 探讨可视化与解释技术如何增强人类对复杂模型的理解。
• 识别在开发内在可解释的机器学习系统方面面临的关键挑战与未来方向。

提出的方法

• 收集了聚焦于机器学习可解释性的同行评审论文与特邀报告。
• 邀请了可解释人工智能领域知名研究者作主旨演讲：Barbara Engelhardt、Cynthia Rudin、Fernanda Viégas与Martin Wattenberg。
• 强调以人为中心的可解释性评估，包括用户研究与定性评估。
• 突出展示了反事实解释、局部与全局模型解释以及交互式可视化工具等技术。
• 提供了一个讨论内在可解释性与事后解释方法的平台。
• 聚焦于可解释性在支持现实世界系统中信任、问责与决策的实际应用。

实验结果

研究问题

• RQ1 如何设计机器学习模型，使其对非专家用户具有内在可解释性？
• RQ2 哪些可视化技术最有效地向人类传达模型行为？
• RQ3 用户如何感知与理解机器学习系统生成的解释？
• RQ4 在实际应用中，模型准确率与可解释性之间的权衡是什么？
• RQ5 人机协同机制在提升模型可解释性与信任度方面发挥什么作用？

主要发现

• 可解释的机器学习方法，如稀疏模型与决策规则，被证明可显著提升用户在高风险领域中的信任度与理解力。
• 交互式可视化，尤其是Martin Wattenberg与Fernanda Viégas开发的工具，被发现能显著增强用户对模型行为的理解。
• 事后解释方法，包括LIME与SHAP，被广泛讨论为解释复杂模型的实用工具。
• 越来越多共识认为，可解释性必须通过以人为中心的度量标准进行评估，而不仅仅是技术保真度。
• 研讨会强调了将模型解释与用户心智模型对齐的重要性，以提升决策质量与问责性。
• 专家强调应将可解释性尽早整合到机器学习生命周期中，而非作为事后补充。