[论文解读] Tutorial: Safe and Reliable Machine Learning

Suchi Saria, Adarsh Subbaswamy|arXiv (Cornell University)|Apr 15, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 40

一句话总结

一个教程，概述高风险设置信息下的机器学习可靠性原则，聚焦于故障预防、故障识别与可靠性监控，以及维护，与公平性、透明度和可解释性相关联。

ABSTRACT

This document serves as a brief overview of the "Safe and Reliable Machine Learning" tutorial given at the 2019 ACM Conference on Fairness, Accountability, and Transparency (FAT* 2019). The talk slides can be found here: https://bit.ly/2Gfsukp, while a video of the talk is available here: https://youtu.be/FGLOCkC4KmE, and a complete list of references for the tutorial here: https://bit.ly/2GdLPme.

研究动机与目标

• 动机：在用于高风险决策的 ML 系统中提升可靠性的必要性。
• 总结核心的可靠性原则及其与公平性、透明性和可解释性的关系。
• 讨论在数据、模型与报告方面衡量并确保可靠性的技术方法。
• 突出可靠 ML 部署中的未解决问题与未来方向。

提出的方法

• 将故障来源分类为：坏数据、环境变化、模型错误和报告。
• 描述通过使用 DAGs 和选择图的环境转变分析来主动防止故障的框架。
• 讨论鲁棒性方法，如对抗训练和鲁棒性证书以保护模型。
• 强调报告标准（数据表、模型卡）和可靠性文档的作用。
• 概述故障识别和可靠性监控方法，包括逐点可信度分数和异常分布检测。
• 讨论维护挑战以及 ML 系统中的技术债务概念。

实验结果

研究问题

• RQ1 在实际环境中部署的机器学习系统的主要故障来源有哪些？
• RQ2 如何将可靠性原则落地，以防止、检测并维持对抗环境变化、对抗性输入和报告差距的 ML 系统？
• RQ3 哪些框架（如 DAGs、选择图）能够支持对环境变化的主动不变性？
• RQ4 报告标准应如何纳入诸如鲁棒性证书和模型验证等可靠性考量？

主要发现

• ML 的可靠性可以围绕三大原则来构建：故障预防、故障识别与可靠性监控，以及维护。
• 环境变化和数据集偏差可能导致模型在训练条件之外表现不佳，因此需要主动泛化策略。
• 与模型相关的问题包括错误的假设和对高维输入的脆弱性，促使采取鲁棒训练和验证方法。
• 不良的报告会导致误用和错位，需要采用数据表、模型卡和面向可靠性的文档。
• 逐点可靠性和信任审计可以在训练后拒绝不可靠的预测，解决分布外和局部拟合问题。