[论文解读] Understanding Bias in Machine Learning

Jindong Gu, Daniela Oelke|arXiv (Cornell University)|Sep 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用 15

一句话总结

本文解釋了訓練資料中的偏誤如何傳播至機器學習模型，並透過互動式視覺化展示，資料偏誤（如共變數偏移、樣本選擇偏誤與類別不平衡）會直接影響模型的公平性與效能。研究顯示，即使使用先進模型，偏誤資料仍會導致歧視性結果，強調必須在模型部署前進行資料檢視，並促進領域專家與機器學習專家的合作以減輕偏誤。

ABSTRACT

Bias is known to be an impediment to fair decisions in many domains such as human resources, the public sector, health care etc. Recently, hope has been expressed that the use of machine learning methods for taking such decisions would diminish or even resolve the problem. At the same time, machine learning experts warn that machine learning models can be biased as well. In this article, our goal is to explain the issue of bias in machine learning from a technical perspective and to illustrate the impact that biased data can have on a machine learning model. To reach such a goal, we develop interactive plots to visualizing the bias learned from synthetic data.

研究动机与目标

• 解釋機器學習中偏誤的技術根源，源自資料分佈不匹配。
• 說明不同類型的資料偏誤（共變數偏移、樣本選擇偏誤與類別不平衡）如何影響模型行為。
• 透過互動式視覺化展示，偏誤的訓練資料會導致模型預測產生偏誤。
• 提倡主動進行資料檢視，並促進領域專家與機器學習實務工作者之間的合作，以偵測與減輕偏誤。
• 挑戰「機器學習本質上可減少偏誤」的假設，顯示模型可能繼承並放大現存的資料偏誤。

提出的方法

• 作者使用合成資料集，在受控環境中模擬現實世界中的偏誤情境。
• 開發互動式視覺化工具，以展示偏誤對模型預測的影響，並允許使用者調整資料分佈比例。
• 研究使用神經網路模型在偏誤資料上進行訓練，以模擬人力資源應用中的現實決策過程。
• 使用圓餅圖與特徵重要性圖表，視覺化不同資料分佈下的模型預測比例與特徵重要性。
• 方法包含動態滑桿，可調整類別不平衡程度，並即時觀察模型行為的變化。
• 引用可解釋人工智慧技術（如特徵歸因與模型無關的解讀方法，例如 LIME、排列重要性）以支援模型分析。

实验结果

研究问题

• RQ1 訓練資料中的偏誤如何傳播至機器學習模型？
• RQ2 資料偏誤的具體類型（共變數偏移、樣本選擇偏誤與類別不平衡）為何？它們如何影響模型的公平性？
• RQ3 機器學習模型的預測在多大程度上會反映其訓練資料中的偏誤？
• RQ4 互動式視覺化是否能有效揭示並說明資料偏誤對模型決策的影響？
• RQ5 領域專家與機器學習實務工作者在模型部署前偵測與減輕偏誤的過程中扮演何種角色？

主要发现

• 機器學習模型中的偏誤主要源自偏誤的訓練資料，而非模型架構本身。
• 訓練資料中的類別不平衡會導致模型系統性地偏好多數類別，即使測試資料的分佈不同，仍會導致更高的拒絕率。
• 當訓練資料反映歷史性歧視（例如某些大學或技能過度代表性），模型會學習並複製這些相關性，進而導致不公平的預測。
• 互動式視覺化顯示，若將訓練資料分佈調整至接近真實人口分佈，可提升模型的公平性與預測準確度。
• 即使使用表現優異的模型，若未仔細檢視資料，偏誤仍會持續存在，強調需結合可解釋人工智慧與跨領域合作。
• 本研究確認機器學習不會自動消除偏誤；若未確保資料品質與代表性，反而可能放大現存偏誤。