[论文解读] Pitfalls of Explainable ML: An Industry Perspective

Sahil Verma, Aditya Lahiri+2 more|arXiv (Cornell University)|Jun 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用 10

一句话总结

本文识别出八个阻碍可解释机器学习（XAI）工业应用的关键挑战，包括解释格式不一致、缺乏定量评估指标、缺乏标准化工作流程、实现效率低下、缺少基准测试、解释不可操作、利益相关者参与不足以及监管激励薄弱。作者倡导建立统一框架并推动跨学科协作，以实现XAI的普及化。

ABSTRACT

As machine learning (ML) systems take a more prominent and central role in contributing to life-impacting decisions, ensuring their trustworthiness and accountability is of utmost importance. Explanations sit at the core of these desirable attributes of a ML system. The emerging field is frequently called ``Explainable AI (XAI)'' or ``Explainable ML.'' The goal of explainable ML is to intuitively explain the predictions of a ML system, while adhering to the needs to various stakeholders. Many explanation techniques were developed with contributions from both academia and industry. However, there are several existing challenges that have not garnered enough interest and serve as roadblocks to widespread adoption of explainable ML. In this short paper, we enumerate challenges in explainable ML from an industry perspective. We hope these challenges will serve as promising future research directions, and would contribute to democratizing explainable ML.

研究动机与目标

• 识别并阐明阻碍可解释机器学习（XAI）广泛工业应用的关键障碍，尽管学术界和产业界对此兴趣日益增长。
• 突出学术XAI研究与高风险领域（如医疗、金融和刑事司法）实际工业部署之间的脱节。
• 倡导建立统一语言、标准化评估、可操作的解释以及利益相关者驱动的设计，以实现XAI的普及化。
• 强调需要可扩展、高效且可审计的XAI系统，以支持生产环境中模型的调试、监控和迭代优化。

提出的方法

• 整合来自金融科技和医疗健康领域初创企业、上市公司及非营利组织的从业者经验，识别XAI部署中的重复痛点。
• 将挑战归类为八个关键研究挑战，每个挑战均基于真实用例和生产系统中观察到的技术限制。
• 分析现有XAI技术（如LIME、SHAP、反事实）在格式一致性、评估、可扩展性和可操作性方面的不足。
• 评估当前指标（如保真度、鲁棒性、精确度）作为解释质量代理指标的适用性，同时指出其在反映实际用户效用方面的局限性。
• 提出需要领域特定的基准测试和标准化评估框架，类似于自然语言处理和计算机视觉领域的做法，以实现XAI方法间的公平比较。
• 倡导采用交互式、迭代式的XAI工作流程，使开发者和最终用户能够基于解释反馈共同设计和优化模型行为。

实验结果

研究问题

• RQ1 为何XAI技术之间解释格式不一致会阻碍非技术利益相关者在工业环境中的采纳？
• RQ2 如何为XAI制定标准化的定量指标，以实现对类似技术（如LIME与xLIME，或SHAP及其变体）之间的客观比较？
• RQ3 在机器学习全生命周期中，用于模型监控、调试和验证的XAI工作流程指南为何缺失？
• RQ4 为何当前开源XAI实现对大规模或分布式系统（如PySpark）效率低下，应如何解决？
• RQ5 XAI如何超越“为何”类解释，提供可操作的、因果性的建议以改进模型或实施特征干预？
• RQ6 监管模糊性和执行不力在多大程度上限制了工业界对XAI的投资，尽管存在声誉和合规性激励？

主要发现

• 在不同数据模态之间，XAI解释缺乏共享词汇或标准化格式，导致非技术终端用户困惑，降低可用性。
• 尽管存在保真度、鲁棒性等指标，但尚未就单一量化指标达成共识，难以对XAI技术进行客观比较，限制了评估的客观性。
• 现有XAI技术主要针对局部、单一样本解释而设计，缺乏在生产环境中用于模型监控、调试和验证的既定工作流程。
• 开源XAI框架（如LIME和SHAP）未针对大数据或分布式系统进行优化，且SHAP在某些模型上的计算为NP难问题，限制了可扩展性。
• 尽管已有FICO、ERASER和MIMIC等努力，但缺乏领域特定、可评估且可重用的标准化基准测试，阻碍了进展。
• 当前XAI方法无法提供因果性或可操作的洞察，导致开发者和用户缺乏关于如何修改模型或特征以改善结果的指导。