[论文解读] Towards Trustworthy and Aligned Machine Learning: A Data-centric Survey with Causality Perspectives

Haoyang Liu, Maheep Chaudhary+1 more|arXiv (Cornell University)|Jul 31, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本综述提出了一种以数据为中心、基于因果推断的框架，旨在统一可信机器学习在鲁棒性、对抗鲁棒性、公平性和可解释性方面的研究。通过将现有技术映射到Pearl的因果层次结构，揭示了其共通的方法论模式，并实现了与大规模预训练模型的原理性整合，为构建更可靠且对齐的AI系统提供了统一方法。

ABSTRACT

The trustworthiness of machine learning has emerged as a critical topic in the field, encompassing various applications and research areas such as robustness, security, interpretability, and fairness. The last decade saw the development of numerous methods addressing these challenges. In this survey, we systematically review these advancements from a data-centric perspective, highlighting the shortcomings of traditional empirical risk minimization (ERM) training in handling challenges posed by the data. Interestingly, we observe a convergence of these methods, despite being developed independently across trustworthy machine learning subfields. Pearl's hierarchy of causality offers a unifying framework for these techniques. Accordingly, this survey presents the background of trustworthy machine learning development using a unified set of concepts, connects this language to Pearl's causal hierarchy, and finally discusses methods explicitly inspired by causality literature. We provide a unified language with mathematical vocabulary to link these methods across robustness, adversarial robustness, interpretability, and fairness, fostering a more cohesive understanding of the field. Further, we explore the trustworthiness of large pretrained models. After summarizing dominant techniques like fine-tuning, parameter-efficient fine-tuning, prompting, and reinforcement learning with human feedback, we draw connections between them and the standard ERM. This connection allows us to build upon the principled understanding of trustworthy methods, extending it to these new techniques in large pretrained models, paving the way for future methods. Existing methods under this perspective are also reviewed. Lastly, we offer a brief summary of the applications of these methods and discuss potential future aspects related to our survey. For more information, please visit http://trustai.one.

研究动机与目标

• 为解决可信机器学习方法发展碎片化的问题，识别鲁棒性、对抗鲁棒性、公平性和可解释性之间的统一原则。
• 将这些可信性挑战重新框架化为数据结构问题，而非模型架构问题，强调虚假相关性和混淆因素的作用。
• 利用Pearl的因果层次结构作为统一框架，建立可信机器学习技术与因果理论之间的原理性联系。
• 通过将可信方法与标准的经验风险最小化（ERM）和因果推断相联系，拓展其在大规模预训练模型中的适用性。
• 识别同时实现四种可信属性——鲁棒性、公平性、可解释性和对抗鲁棒性——的模型构建机会。

提出的方法

• 通过以数据为中心的视角重构可信机器学习挑战，识别出虚假特征、混淆因素和数据集偏差是模型在分布偏移下失效的根本原因。
• 将鲁棒性、对抗鲁棒性、公平性和可解释性领域的现有技术映射到Pearl的因果三层次：关联、干预和反事实推理。
• 应用因果推断工具如后门调整、do-演算和处理效应分析，以减轻虚假相关性并提升模型泛化能力。
• 通过反事实数据生成和观测变量的干预，增强模型在视觉-语言任务中的鲁棒性和公平性。
• 将因果启发的方法与现代大模型技术（如提示调优、参数高效微调和RLHF）相结合，实现大模型的可信适应。
• 提出一种基于因果理论的统一数学语言，连接分散的可信机器学习方法，实现跨领域迁移与原理性设计。

实验结果

研究问题

• RQ1 如何建立一个统一框架，连接鲁棒性、公平性、可解释性和对抗鲁棒性之间分散的可信机器学习技术？
• RQ2 当通过Pearl的因果层次结构视角分析时，现有可信机器学习方法在多大程度上趋于收敛？
• RQ3 能否系统性地应用基于因果的方法，以提升大规模预训练模型的可信性？
• RQ4 可信机器学习中存在哪些共通的方法论模式，表明应采用通用的、以数据为中心的方法来提升模型可靠性？
• RQ5 因果推断技术如何促进构建同时实现所有四种可信属性的模型？

主要发现

• 当通过以数据为中心、基于因果推断的视角分析时，鲁棒性、对抗鲁棒性、公平性和可解释性领域的技术呈现出收敛趋势，表明存在共享的根本原则。
• 因果推断方法如后门调整和反事实生成在视觉-语言任务中有效缓解了虚假相关性，提升了模型的鲁棒性和公平性。
• CRAFT数据集展示了反事实和因果问题在训练模型进行深层推理方面的价值，减少了对语言捷径的过度依赖。
• 基于干预的数据增强和处理效应建模通过减少图像和序列任务中对虚假特征的依赖，改善了模型泛化能力。
• 将因果性与大规模预训练模型相结合——通过提示调优、参数高效微调和RLHF——为构建可信的基础模型开辟了新路径。
• 该综述识别出一个关键研究空白：目前尚无任何模型同时优化所有四种可信属性，提示未来模型设计存在一个极具前景的方向。