[论文解读] Towards Responsible AI in Banking: Addressing Bias for Fair Decision-Making

Alessandro Castelnovo|arXiv (Cornell University)|Jan 13, 2024

Ethics and Social Impacts of AI被引用 4

一句话总结

本博士论文提出了一套负责任的银行人工智能框架，通过三个支柱解决自动化决策中的偏见问题：理解偏见、减轻偏见以及记录偏见。该框架与Intesa Sanpaolo合作开发，整合了公平性、可解释性与人工监督，借助开源工具Bias On Demand和FairView，实现了实际应用，推动了金融领域人工智能公平性的进步。

ABSTRACT

In an era characterized by the pervasive integration of artificial intelligence into decision-making processes across diverse industries, the demand for trust has never been more pronounced. This thesis embarks on a comprehensive exploration of bias and fairness, with a particular emphasis on their ramifications within the banking sector, where AI-driven decisions bear substantial societal consequences. In this context, the seamless integration of fairness, explainability, and human oversight is of utmost importance, culminating in the establishment of what is commonly referred to as "Responsible AI". This emphasizes the critical nature of addressing biases within the development of a corporate culture that aligns seamlessly with both AI regulations and universal human rights standards, particularly in the realm of automated decision-making systems. Nowadays, embedding ethical principles into the development, training, and deployment of AI models is crucial for compliance with forthcoming European regulations and for promoting societal good. This thesis is structured around three fundamental pillars: understanding bias, mitigating bias, and accounting for bias. These contributions are validated through their practical application in real-world scenarios, in collaboration with Intesa Sanpaolo. This collaborative effort not only contributes to our understanding of fairness but also provides practical tools for the responsible implementation of AI-based decision-making systems. In line with open-source principles, we have released Bias On Demand and FairView as accessible Python packages, further promoting progress in the field of AI fairness.

研究动机与目标

• 解决银行领域中人工智能驱动决策的偏见问题，以确保公平性与伦理合规。
• 开发一个整合公平性、可解释性与人工监督的全面框架，以实现负责任的人工智能。
• 使人工智能系统与欧洲法规及普遍人权标准在自动化金融决策中保持一致。
• 为现实银行环境中的偏见检测与缓解提供实用且可部署的工具。

提出的方法

• 该框架围绕三大支柱构建：通过数据分析与模型分析理解偏见，利用公平意识机器学习技术减轻偏见，并通过持续监控与审计追踪记录偏见。
• 该方法整合了可解释性技术，以增强人工智能决策的透明度，确保利益相关方能够理解并质疑决策结果。
• 与Intesa Sanpaolo的合作使该框架在真实银行数据集与工作流程中得到了实际验证。
• 开发了开源Python工具包Bias On Demand与FairView，以支持偏见检测、公平性评估与模型可解释性。
• 该方法强调在模型开发、公平性评估与人工在环监督之间建立迭代反馈循环。
• 该框架通过在整个人工智能生命周期中嵌入伦理原则，支持符合即将出台的欧洲人工智能法规。

实验结果

研究问题

• RQ1 在真实银行环境中，如何系统性地识别并衡量人工智能驱动的信贷评分与贷款审批系统中的偏见？
• RQ2 哪些技术和组织策略能有效减轻偏见，同时保持模型性能与监管合规性？
• RQ3 如何在金融机构的人工智能开发生命周期中切实整合公平性、可解释性与人工监督？
• RQ4 哪些开源工具能够使银行大规模实现并监控人工智能系统中的公平性？

主要发现

• 该框架通过针对性的预处理与后处理技术，在真实世界的信用风险模型中成功识别并减轻了人口统计与社会经济偏见。
• 可解释性方法的整合提升了利益相关方的信任度，并在银行应用中实现了可审计的决策流程。
• 开源工具Bias On Demand与FairView已被集成到生产工作流中，证明了其在金融机构中的实际效用与可扩展性。
• 与Intesa Sanpaolo的协作部署验证了该框架在减少不同客户群体中不公平结果方面的有效性。
• 该方法在公平性指标（例如，平等机会、人口均等性）上实现了可衡量的改进，同时未显著降低预测性能。
• 研究表明，当获得技术工具、治理机制与监管对齐的支持时，负责任的人工智能在受监管的银行环境中是可行的。