Skip to main content
QUICK REVIEW

[论文解读] Stakeholders in Explainable AI

Alun Preece, Daniel Harborne|ORCA Online Research @Cardiff (Cardiff University)|Sep 29, 2018
Adversarial Robustness in Machine Learning参考文献 30被引用 43
一句话总结

该论文认为可解释人工智能涉及具有不同意图和需求的不同利益相关者群体,并提出一个分层的、面向利益相关者的解释视图,连接验证与确认。

ABSTRACT

There is general consensus that it is important for artificial intelligence (AI) and machine learning systems to be explainable and/or interpretable. However, there is no general consensus over what is meant by 'explainable' and 'interpretable'. In this paper, we argue that this lack of consensus is due to there being several distinct stakeholder communities. We note that, while the concerns of the individual communities are broadly compatible, they are not identical, which gives rise to different intents and requirements for explainability/interpretability. We use the software engineering distinction between validation and verification, and the epistemological distinctions between knowns/unknowns, to tease apart the concerns of the stakeholder communities and highlight the areas where their foci overlap or diverge. It is not the purpose of the authors of this paper to 'take sides' - we count ourselves as members, to varying degrees, of multiple communities - but rather to help disambiguate what stakeholders mean when they ask 'Why?' of an AI.

研究动机与目标

  • 识别不同的AI可解释性利益相关者群体及其动机。
  • 梳理开发者、理论家、伦理学者和用户在可解释性需求上的差异。
  • 将可解释性与软件工程中的验证和确认概念联系起来。
  • 提出一个分层、多模态的解释模型,以满足多方利益相关者。
  • 强调以用户为中心的解释的重要性,以防止AI寒冬。

提出的方法

  • 将可解释性相关者分为四个群体:开发者、理论家、伦理学家和用户。
  • 使用软件工程概念(验证与确认)将解释类型映射到利益相关者的需求。
  • 区分基于透明度的(验证)解释和事后(确认)解释。
  • 区分已知/未知的认识论,以分析解释如何解决不同信息差距。
  • 提出一个分层解释对象(可追溯性、正当性、保证),以满足利益相关者的要求。
  • 提供一个野生动物监测的示例场景,以说明分层解释。

实验结果

研究问题

  • RQ1可解释AI的哪些不同利益相关者群体及其主要动机?
  • RQ2验证与确认概念如何映射到各利益相关者群体的解释类型?
  • RQ3哪些认识论类别(已知/未知)能揭示应如何为不同受众设计解释?
  • RQ4是否可以用分层、多模态的解释框架同时满足多方利益相关者,而不让任何单一群体感到不堪重负?
  • RQ5最终用户在可解释AI discourse中相对于其他利益相关者扮演何种角色?

主要发现

  • 可解释AI有四个利益相关者群体:开发者、理论家、伦理学家、用户,每组对解释有不同的目标。
  • 开发者/理论家更注重验证和基于透明度的解释,而用户/伦理学者强调确认和事后解释。
  • 分层解释方法(可追溯性、正当性、保证)通过合理组织信息,可以满足多方利益相关者。
  • 基于透明度的解释对于非开发者/伦理学者的受众往往不稳定或难以解释,因此需要谨慎呈现。
  • 事后解释,包括基于示例的和文本解释,特别适合用户和伦理学者,但必须明确标注为近似。
  • 终端用户的观点至关重要,往往代表性不足但对避免未来AI采用受阻至关重要。

更好的研究,从现在开始

从论文设计到论文写作,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。