[论文解读] The Role of Normware in Trustworthy and Explainable AI

Giovanni Sileno, Alexander Boer+1 more|arXiv (Cornell University)|Dec 6, 2018

Ethics and Social Impacts of AI参考文献 6被引用 8

一句话总结

本文提出了'规范软件'（normware）——一种指定规范的计算实体——作为构建可信且可解释人工智能的关键、生态整合性组件。通过将规范性约束直接嵌入决策循环，规范软件使系统能够检查非预期后果、与伦理标准保持一致，并生成可解释的正当理由，从而在软件与硬件之外提供一种新颖的架构层级。

ABSTRACT

For being potentially destructive, in practice incomprehensible and for the most unintelligible, contemporary technology is setting high challenges on our society. New conception methods are urgently required. Reorganizing ideas and discussions presented in AI and related fields, this position paper aims to highlight the importance of normware--that is, computational artifacts specifying norms--with respect to these issues, and argues for its irreducibility with respect to software by making explicit its neglected ecological dimension in the decision-making cycle.

研究动机与目标

• 为应对人工智能系统在自主和人机交互场景中日益增长的非预期、不道德或不透明结果的担忧。
• 论证当前人工智能开发忽视了对专用计算层——规范软件——的需求，该层明确编码了规范与伦理约束。
• 将规范软件定位为不可简化的、生态嵌入的组件，用以引导但不完全控制系统行为。
• 提出一种新架构范式，其中规范软件作为动态、上下文敏感的决策检查机制，提升可信度与可解释性。
• 通过在系统设计中扎根规范性推理，弥合人工智能伦理、法律规范与技术实现之间的鸿沟。

提出的方法

• 提出规范软件作为一种独立的计算实体，用于指定规范，作为决策循环内的制衡机制。
• 提出一种多层系统架构，其中规范软件组件与软件、模拟器及用户界面交互，以验证决策。
• 采用'战略驱动'机制，将计划与高层次规范（如生态可持续性、公平性）进行对比评估，拒绝不符合规范的选项。
• 使用'二阶预言机'生成满足中立性约束的训练数据，从而减少机器学习模型中的统计偏差。
• 在预测与解释模块之间实施对齐检查，确保解释与专家知识模型兼容。
• 将规范软件建模为与其他系统组件生态共存的形式，类比于规范体系中认识论与法律多元主义的共存。

实验结果

研究问题

• RQ1 如何将规范形式化为计算实体，以指导自主人工智能决策，使其既可解释又可执行？
• RQ2 规范软件在防止人工智能系统非预期后果方面发挥何种架构作用，特别是在人类监督减少的情况下？
• RQ3 规范软件如何通过使系统能够生成与专家或社会知识一致的正当理由，来支持可解释性？
• RQ4 规范软件与传统软件和硬件有何不同？为何其不可还原为现有抽象层级？
• RQ5 规范软件能否在非符号型人工智能系统（如深度学习）中实现？其与此类组件的接口方式如何？

主要发现

• 规范软件提供了一种必要且生态嵌入的层级，通过将规范性约束直接嵌入决策过程，与软件形成互补。
• 规范软件的集成可通过战略检查机制（如在模拟环境中拒绝生态有害计划）实现对非预期后果的主动检测。
• 可使用二阶预言机生成满足中立性约束的训练数据，从而减少模型中的统计偏差。
• 通过解耦预测与解释模块，可解释性得到增强，其中解释组件将预测与专家知识进行验证。
• 规范软件通过在特定输入上下文中实现功能兼容性，而非逻辑等价性，支持本体对齐，从而在不同领域间实现灵活性。
• 即使在非符号型人工智能系统中，规范软件也可通过符号接口发挥作用，因为规范可通过语言和结构化表示进行传达与解释。