[论文解读] Studying the Transfer of Biases from Programmers to Programs.

Tore Pedersen, Christian Johansen+1 more|arXiv (Cornell University)|May 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 69被引用 7

一句话总结

本文研究了程序员偏见——由文化背景和编程环境塑造——如何通过隐喻传递到代码中，导致与训练数据无关的机器偏见。通过实验和对比方法，研究发现文化隐喻会影响编码选择，而上下文隐喻可放大或减弱这些影响，揭示了除数据驱动因素外的另一种算法偏见来源。

ABSTRACT

It is generally agreed that one origin of machine bias is resulting from characteristics within the dataset on which the algorithms are trained, i.e., the data does not warrant a generalized inference. We, however, hypothesize that a different `mechanism', hitherto not articulated in the literature, may also be responsible for machine's bias, namely that biases may originate from (i) the programmers' cultural background, such as education or line of work, or (ii) the contextual programming environment, such as software requirements or developer tools. Combining an experimental and comparative design, we studied the effects of cultural metaphors and contextual metaphors, and tested whether each of these would `transfer' from the programmer to program, thus constituting a machine bias. The results show (i) that cultural metaphors influence the programmer's choices and (ii) that `induced' contextual metaphors can be used to moderate or exacerbate the effects of the cultural metaphors. This supports our hypothesis that biases in automated systems do not always originate from within the machine's training data. Instead, machines may also `replicate' and `reproduce' biases from the programmers' cultural background by the transfer of cultural metaphors into the programming process. Implications for academia and professional practice range from the micro programming-level to the macro national-regulations or educational level, and span across all societal domains where software-based systems are operating such as the popular AI-based automated decision support systems.

研究动机与目标

• 调查程序员文化背景和上下文编程环境是否会导致机器偏见。
• 检验文化隐喻是否会影响编程决策和代码结构。
• 探究上下文隐喻（如工具或需求）能否调节或加剧文化隐喻的影响。
• 挑战主流假设，即人工智能系统中的偏见仅源于有偏见的训练数据。
• 识别软件开发中偏见传播的新机制，对教育、监管和系统设计具有启示意义。

提出的方法

• 在来自不同文化背景的程序员中开展受控实验，以评估其在编码任务中使用隐喻的情况。
• 将文化隐喻（如与教育或工作经验相关的隐喻）作为编程任务中的自变量。
• 通过软件工具或需求规格说明引入上下文隐喻，以操纵编程环境。
• 比较不同群体的编程结果，以衡量代码结构、命名和逻辑方面的差异。
• 应用对比分析，以分离文化隐喻与上下文隐喻对代码生成的影响。
• 结合定性和定量分析，追踪从程序员到程序的隐喻传递过程。

实验结果

研究问题

• RQ1 程序员使用的文化隐喻是否会影响其生成代码的结构和逻辑？
• RQ2 开发环境中的上下文隐喻能否调节或加剧文化隐喻对代码的影响？
• RQ3 程序员偏见（根植于文化背景）在多大程度上被编码进软件系统？
• RQ4 自动化系统中的机器偏见是否总是源于有偏见的训练数据，还是也可能源自程序员层面的影响？
• RQ5 编程环境中的隐喻如何塑造文化偏见向代码的传递？

主要发现

• 文化隐喻显著影响程序员在代码命名、结构和逻辑方面的选择。
• 上下文隐喻（如嵌入开发工具或需求中的隐喻）可放大或减弱文化隐喻对代码的影响。
• 文化隐喻向代码的传递揭示了一种独立于训练数据的新型偏见传播机制。
• 当暴露于相同任务时，不同文化背景的程序员会产生可测量差异的代码，表明文化背景对实现方式的影响。
• 本研究揭示，自动化系统中的偏见不仅源于数据，也源于编程过程中的人员与环境因素。
• 这挑战了主流叙事中认为偏见仅是数据问题的观念，强调在人工智能公平性中需考虑程序员和环境因素。