[论文解读] Uncertainty Aware AI ML: Why and How

Lance Kaplan, Federico Cerutti+3 more|arXiv (Cornell University)|Sep 20, 2018

Bayesian Modeling and Causal Inference参考文献 12被引用 17

一句话总结

本文提出了一种不确定性感知的AI/ML系统，通过整合主观贝叶斯网络与证据神经网络，量化并传达预测中的不确定性，使人类决策者能够在军事路线规划等高风险、数据稀疏的情境中评估风险并作出适当响应。其核心贡献是一个框架，能够因罕见事件或分布外输入而标记低置信度推理，从而在必要时允许人类专家介入。

ABSTRACT

This paper argues the need for research to realize uncertainty-aware artificial intelligence and machine learning (AI\&ML) systems for decision support by describing a number of motivating scenarios. Furthermore, the paper defines uncertainty-awareness and lays out the challenges along with surveying some promising research directions. A theoretical demonstration illustrates how two emerging uncertainty-aware ML and AI technologies could be integrated and be of value for a route planning operation.

研究动机与目标

• 为解决AI/ML系统在存在‘未知的未知’的开放世界情境下，对预测不确定性进行评估与沟通的迫切需求。
• 开发一种分层AI&ML架构，使底层机器学习（神经网络）与高层人工智能（概率推理）均具备不确定性感知能力。
• 通过提供不确定性来源（如数据稀疏性或分布外输入）的解释，使人类决策者能够信任AI输出。
• 在真实场景（如动态且不确定条件下的路线规划）中展示不确定性感知系统的价值。
• 通过识别技术挑战与有前景的研究方向，为未来不确定性感知AI的研究奠定基础。

提出的方法

• 在高层AI层集成主观贝叶斯网络，利用不确定的条件概率对潜在变量推断主观意见（不确定性概率）。
• 训练神经网络输出可解释的主观意见（信念、可信度与基率），而非点估计，以实现不确定性量化。
• 将神经网络的输出作为证据输入主观贝叶斯网络，以在决策模型中传播不确定性。
• 将该联合系统应用于路线规划场景，其中不确定性源于训练数据稀疏性以及罕见事件（如模型误分类的同步仪式）等因素。
• 通过明确警报向人类操作员传达不确定性，尤其在模型置信度较低且输入稀少或模糊时。
• 通过人机协同干预解决不确定性，例如将‘黑天鹅’事件（如仪式性舞蹈）解释为潜在威胁。

实验结果

研究问题

• RQ1 当测试数据与训练数据显著不同时，AI/ML系统如何有效量化不确定性？
• RQ2 哪些技术方法可使神经网络与概率推理系统以人类可理解的方式表达不确定性？
• RQ3 在分层AI&ML系统中，不确定性传播如何提升高风险、开放世界环境下的决策能力？
• RQ4 不确定性感知系统在面对罕见或分布外事件时，如何降低错误决策的风险？
• RQ5 如何以支持高层次推理与知情干预的方式向人类决策者有效传达不确定性？

主要发现

• 当市民中心出席率正常时，对路线C的不确定性增加，因为模型缺乏此类异常配置的训练样本，尽管该路线仍被判定为危险。
• 神经网络在市场区域检测到暴力行为时置信度较高，反而增加了路线A与B的不确定性，因为此类事件在市民中心正常出席率下极不可能发生，表明存在罕见或分布外条件。
• 神经网络对活动类别的不确定性直接影响路线A与B的主观意见，表明模型不确定性可在决策系统中有效传播。
• 该系统成功识别出‘黑天鹅’事件——将同步舞蹈误判为仪式——通过发出不确定性信号，触发人工调查，并促成更安全的作战计划修订。
• 指挥官在选择更高风险的路线A时，虽伴随更高不确定性但具有更高安全概率，或选择配备重型装甲支援，表明不确定性可支持风险意识决策。
• 证据神经网络与主观贝叶斯网络的整合使系统能够解释不确定性来源（如数据稀疏性或模型误分类），从而增强人类信任与态势感知能力。