[论文解读] SoK: Machine Learning Governance

Varun Chandrasekaran, Hengrui Jia+4 more|arXiv (Cornell University)|Sep 20, 2021

Adversarial Robustness in Machine Learning参考文献 297被引用 11

一句话总结

本文提出了一套四支柱的机器学习治理框架——所有权、问责制、保障性与生命周期管理，以实现负责任的机器学习部署。通过为模型和数据形式化定义身份，实现故障归因，通过可验证声明确保信任，并支持动态模型更新，作者为利益相关方之间的机器学习风险与收益平衡奠定了博弈论基础。

ABSTRACT

The application of machine learning (ML) in computer systems introduces not only many benefits but also risks to society. In this paper, we develop the concept of ML governance to balance such benefits and risks, with the aim of achieving responsible applications of ML. Our approach first systematizes research towards ascertaining ownership of data and models, thus fostering a notion of identity specific to ML systems. Building on this foundation, we use identities to hold principals accountable for failures of ML systems through both attribution and auditing. To increase trust in ML systems, we then survey techniques for developing assurance, i.e., confidence that the system meets its security requirements and does not exhibit certain known failures. This leads us to highlight the need for techniques that allow a model owner to manage the life cycle of their system, e.g., to patch or retire their ML system. Put altogether, our systematization of knowledge standardizes the interactions between principals involved in the deployment of ML throughout its life cycle. We highlight opportunities for future work, e.g., to formalize the resulting game between ML principals.

研究动机与目标

• 应对机器学习日益增长的社会风险，如隐私侵犯、不公平预测、虚假信息传播和完整性失效。
• 系统化现有机器学习安全与隐私研究，构建标准化的负责任机器学习部署治理模型。
• 建立机制，使模型所有者能够证明所有权、对故障负责，并提供系统行为的可验证保证。
• 通过生命周期管理技术，实现模型的修补、更新和退役，支持动态模型管理。
• 将模型所有者、用户和监管机构之间的互动形式化为斯塔克尔伯格博弈，以建模风险-收益权衡与问责机制。

提出的方法

• 引入机器学习系统中‘身份’的概念，以明确分配模型和训练数据的所有权。
• 利用基于身份的归因机制，将模型故障的责任分配给特定主体，包括开发者和最终用户。
• 开发审计机制，以检测并归因于机器学习系统中先前未知的故障。
• 调研并整合保障性技术，如隐私保障（例如差分隐私）、鲁棒性检测以及可验证的训练日志。
• 提出生命周期管理机制，以支持模型修补、行为修改和退役，包括机器遗忘中的挑战。
• 将治理互动建模为斯塔克尔伯格博弈，以形式化主体之间的战略互动及均衡结果。

实验结果

研究问题

• RQ1 如何在机器学习系统中正式确立模型和数据的所有权，以实现问责制？
• RQ2 哪些机制能够实现对模型故障向特定主体（包括外部审计机构）的可靠归因？
• RQ3 模型所有者如何在部署前提供可验证的保证，证明其系统满足安全与公平性要求？
• RQ4 需要哪些技术和程序机制来支持模型在生产环境中的动态更新、修补和退役？
• RQ5 如何建模模型所有者、用户和监管机构之间的战略互动，以平衡机器学习的风险与收益？

主要发现

• 在机器学习系统中，所有权与身份是问责制的基础，因为必须具备不可伪造的所有权声明，才能将故障责任归因于特定主体。
• 通过在训练和部署过程中收集的可验证证据，可以增强基于归因和审计的问责机制。
• 差分隐私和鲁棒性测试等保障技术可以被形式化并记录下来以建立信任，但通常仅在事后应用。
• 生命周期管理——包括模型更新、遗忘和退役——对于长期治理至关重要，但在行为修改方面仍发展不足。
• 所提出的斯塔克尔伯格博弈模型形式化了主体之间的战略互动，并识别出平衡机器学习收益与风险的均衡状态。
• 技术进展（如差分隐私）与法律框架（如匿名化）之间存在显著差距，阻碍了负责任机器学习实践在现实中的采用。