[论文解读] The Method of Critical AI Studies, A Propaedeutic

Fabian Offert, Ranjodh Singh Dhaliwal|arXiv (Cornell University)|Nov 28, 2024

Ethics and Social Impacts of AI被引用 6

一句话总结

本文分析批判性人工智能研究中的方法论问题，主张以人文导向、基于流水线的方法论转向，超越传统基准、黑箱与堆栈批评。

ABSTRACT

We outline some common methodological issues in the field of critical AI studies, including a tendency to overestimate the explanatory power of individual samples (the benchmark casuistry), a dependency on theoretical frameworks derived from earlier conceptualizations of computation (the black box casuistry), and a preoccupation with a cause-and-effect model of algorithmic harm (the stack casuistry). In the face of these issues, we call for, and point towards, a future set of methodologies that might take into account existing strengths in the humanistic close analysis of cultural objects.

研究动机与目标

• 识别并批判批判性AI研究中流行的方法论伎俩（基准、黑箱和堆栈的伪诉辩解）。
• 主张采用历史-物质主义、以人文学科为导向的方法论转变，适用于概率性AI系统。
• 提出将人文学科的密切分析与定量方法和技术基准相结合。
• 建议由堆栈转向流水线，以更好地捕捉现代AI基础架构和数据流。

提出的方法

• 批判性诊断三种伪诉辩解（基准、黑箱、堆栈）与概率性AI系统的错位。
• 对控制论、图灵基准影响及黑箱叙事的历史分析，为方法论批评提供依据。
• 提出从基于堆栈的模型向面向流水线的概念转变，以反映当代AI架构。
• 倡导人文学科批评与技术学科之间更紧密的整合，包括以人文学语言进行的反思性基准测试。
• 鼓励对复杂社会技术系统进行密切解读，而非单一样本判定。
• 强调作为一个研究计划的方法论开放和跨学科对话的必要性。

实验结果

研究问题

• RQ1 基准、黑箱和堆栈伪诉辩解如何限制对批判性AI的批评？
• RQ2 为了准确批判概率性AI系统，需要哪些方法论转变？
• RQ3 人文学科的密切解读如何与定量与技术方法在批判性AI研究中有效结合？
• RQ4 为什么流水线在分析当代AI基础设施时可能比堆栈更合适的概念框架？

主要发现

• 批判性AI研究目前过分强调单一样本判定和单一接口提示（基准伪诉）。
• 对黑箱叙事和可解释性的痴迷可能掩盖AI系统的历史与基础设施现实。
• 传统的基于堆栈的算法批评在概率性、演化中的AI流水线日益不适用。
• 面向流水线的概念框架更符合数据流、模型训练和多阶段AI操作。
• 跨学科的开放性和方法论创新对于将人文学科批评与技术AI研究桥接是必要的。