[论文解读] Pretrained AI Models: Performativity, Mobility, and Change

Lav R. Varshney, Nitish Shirish Keskar+1 more|arXiv (Cornell University)|Sep 7, 2019

Topic Modeling参考文献 79被引用 19

一句话总结

本文將預訓練人工智慧模型視為社會技術實體，分析其行為效能、在使用者網絡中的流動性及其倫理影響。論文提出一個治理框架，整合負責創新、以使用者為中心的設計與動態監督，以應對偏見與濫用問題，強調生產者與主要使用者之間的共同責任。

ABSTRACT

The paradigm of pretrained deep learning models has recently emerged in artificial intelligence practice, allowing deployment in numerous societal settings with limited computational resources, but also embedding biases and enabling unintended negative uses. In this paper, we treat pretrained models as objects of study and discuss the ethical impacts of their sociological position. We discuss how pretrained models are developed and compared under the common task framework, but that this may make self-regulation inadequate. Further how pretrained models may have a performative effect on society that exacerbates biases. We then discuss how pretrained models move through actor networks as a kind of computationally immutable mobile, but that users also act as agents of technological change by reinterpreting them via fine-tuning and transfer. We further discuss how users may use pretrained models in malicious ways, drawing a novel connection between the responsible innovation and user-centered innovation literatures. We close by discussing how this sociological understanding of pretrained models can inform AI governance frameworks for fairness, accountability, and transparency.

研究动机与目标

• 分析預訓練人工智慧模型在社會與技術網絡中流動時所產生的社會學與倫理影響。
• 檢視人工智慧中常見任務架構如何促成行為效能，進而可能加劇偏見並允許非預期用途。
• 探討主要使用者透過微調與遷移學習重新詮釋與再利用預訓練模型的角色。
• 主張應將負責創新框架延伸至包含使用者驅動的技術變革與共同責任。
• 提出一個多層次的治理模型，以考量模型的流動性、詮釋彈性與不斷演變的社會影響。

提出的方法

• 應用科學與科技研究（STS）框架，包括技術的社會建構（SCOT）與行動者網絡理論，將預訓練模型分析為社會技術行動者。
• 引入「聖杯行為效能」概念，描述追求共通基準所驅動的模型發展，進而強化系統性偏見。
• 提出以網絡為中心的治理模型，使生產者與主要使用者共同承擔倫理後果的責任。
• 提出三種治理範式：以生產者為中心、靜態與死鎖式（回饋導向），以應對不斷演變的風險與非預期用途。
• 主張運用組合式微積分與科技預測方法，以預測模型在不同應用間的流動與重組。
• 將統計公平性測試與社會學習機制整合至事後監視中，以持續監控風險。

实验结果

研究问题

• RQ1 預訓練人工智慧模型如何作為行為效能代理，塑造並強化社會規範與偏見？
• RQ2 主要使用者在如何透過重新詮釋與再利用預訓練模型，成為技術變革的推動者？
• RQ3 為何自我監督不足以治理預訓練模型？靜態治理方法存在哪些限制？
• RQ4 治理框架應如何調整，以因應預訓練模型在多元應用中所展現的流動性與詮釋彈性？
• RQ5 在雙重用途風險與非預期後果的背景下，使用者創新與共同責任在人工智慧治理中應扮演何種角色？

主要发现

• 訓練如 GPT-2 之類的大規模預訓練模型成本為 250,000 美元，而將 BERT 在 SQuAD 上微調僅需 3,000 美元，顯示下游使用者在成本上享有巨大優勢。
• 人工智慧中的常見任務架構產生「聖杯行為效能」，使模型被驅動朝向基準表現，可能放大內嵌的偏見。
• 預訓練模型展現「計算不可變性」——一旦訓練完成，便難以修改，但仍具可解釋性與跨多元應用的重複使用性。
• 主要使用者透過微調與遷移學習顯著影響模型的演變，使其成為生產者控制範圍外的技術變革關鍵推動者。
• 自我監督與自我設限的模型發布禁令不足以應對以表現為導向的研究動能與雙重用途風險。
• 必須採用多層次治理方法——結合生產者責任、靜態組合規則與回饋導向監視——以確保公平、負責與透明。