[论文解读] On Ensuring that Intelligent Machines Are Well-Behaved

Philip S. Thomas, Bruno Castro da Silva+2 more|arXiv (Cornell University)|Aug 17, 2017

Reinforcement Learning in Robotics参考文献 84被引用 10

一句话总结

本文提出了一种Seldonian优化框架，使机器学习算法设计者能够将对不良行为的概率约束直接嵌入算法设计中，从而以高概率避免有害结果。通过将安全责任从用户转移至设计者，该框架使算法在无需大量领域知识或数据分析的情况下，即可预先排除性别歧视、有害或不安全行为。

ABSTRACT

Machine learning algorithms are everywhere, ranging from simple data analysis and pattern recognition tools used across the sciences to complex systems that achieve super-human performance on various tasks. Ensuring that they are well-behaved---that they do not, for example, cause harm to humans or act in a racist or sexist way---is therefore not a hypothetical problem to be dealt with in the future, but a pressing one that we address here. We propose a new framework for designing machine learning algorithms that simplifies the problem of specifying and regulating undesirable behaviors. To show the viability of this new framework, we use it to create new machine learning algorithms that preclude the sexist and harmful behaviors exhibited by standard machine learning algorithms in our experiments. Our framework for designing machine learning algorithms simplifies the safe and responsible application of machine learning.

研究动机与目标

• 解决确保智能机器在现实应用中安全、负责任运行的关键挑战。
• 识别标准机器学习方法的局限性，即用户必须通过目标函数或可行集间接约束行为，通常需要深厚的领域专业知识。
• 提出一种新框架——Seldonian优化，使设计者可在算法设计阶段直接指定行为的概率约束。
• 证明该框架可实现高概率下预先排除有害行为（如偏见或不安全操作）的算法设计。
• 将确保良好行为的责任从最终用户转移至算法设计者，尤其在用户缺乏机器学习专业知识的高风险领域。

提出的方法

• 将问题形式化为Seldonian优化问题：在满足概率约束 Pr(gi(a(D)) ≤ 0) ≥ 1 − δi 的前提下，最大化算法效用函数 f(a)，共 n 个行为约束。
• 定义算法空间 A，并将优化目标从选择解 θ⋆ 重新表述为选择满足安全约束的良行为算法 a。
• 使用概率保证确保不良行为（如性能下降或偏差结果）的发生概率至多为 δ。
• 将约束直接整合到算法设计过程中，避免依赖通过目标函数或可行集的间接编码。
• 将该框架应用于强化学习与控制问题，利用高斯过程和置信区间估计并强制执行安全约束。
• 证明现有算法（如数字营销或状态规避控制中的算法）在该框架下可被解释为（准）Seldonian算法。

实验结果

研究问题

• RQ1 如何设计机器学习算法，以高概率预先排除不良行为，而无需用户具备深厚的机器学习专业知识？
• RQ2 是否存在一种可推广的框架，可将行为约束直接嵌入算法设计过程，而非通过间接修改目标函数或可行集？
• RQ3 Seldonian优化框架能否适用于包括强化学习、监督学习和控制在内的多样化机器学习领域？
• RQ4 与标准方法相比，Seldonian算法在安全保证和非专家用户的可用性方面表现如何？
• RQ5 文献中现有算法是否已在该新形式化下成为Seldonian或准Seldonian算法的实例？

主要发现

• Seldonian优化框架通过将概率约束直接嵌入算法设计过程，使机器学习算法能够以高概率预先排除不良行为。
• 该框架将确保安全的责任从最终用户转移至算法设计者，使非机器学习专家也能更轻松地实现安全部署。
• 数字营销和控制系统中的现有算法可被解释为（准）Seldonian算法，验证了该框架的通用性与实际相关性。
• 该框架推广了标准机器学习优化问题，并涵盖了现有方法，包括使用鲁棒优化和机会约束的方法。
• 通过使用置信区间和保守估计（例如通过高斯过程），该框架即使在数据有限的情况下，也能以高概率确保满足安全约束。
• 实验表明，该方法能有效防止有害行为，如性能下降、偏见和不安全状态转移，尤其在强化学习与控制应用中表现显著。