[论文解读] Towards affective computing that works for everyone

Tessa Verhoef, Eduard Fosch‐Villaronga|arXiv (Cornell University)|Sep 19, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文批评了情感计算数据集中的多样性缺失问题，指出在种族、性别/性别、年龄和心理健康状况方面存在代表性不足，这损害了算法公平性和准确性。本文提出了更具包容性的采样策略和标准化的人口统计信息记录，以确保情感计算系统能公平地服务于所有群体。

ABSTRACT

Missing diversity, equity, and inclusion elements in affective computing datasets directly affect the accuracy and fairness of emotion recognition algorithms across different groups. A literature review reveals how affective computing systems may work differently for different groups due to, for instance, mental health conditions impacting facial expressions and speech or age-related changes in facial appearance and health. Our work analyzes existing affective computing datasets and highlights a disconcerting lack of diversity in current affective computing datasets regarding race, sex/gender, age, and (mental) health representation. By emphasizing the need for more inclusive sampling strategies and standardized documentation of demographic factors in datasets, this paper provides recommendations and calls for greater attention to inclusivity and consideration of societal consequences in affective computing research to promote ethical and accurate outcomes in this emerging field.

研究动机与目标

• 解决情感计算数据集中代表性不足的问题，特别是针对种族、性别/性别、年龄和心理健康状况。
• 阐明代表性不足如何导致不同人口群体中情绪识别的偏差和不准确。
• 呼吁对数据集中的人口统计因素进行标准化记录，以提升透明度和问责性。
• 通过强调排斥性系统对社会的后果，推动情感计算研究中的伦理考量。
• 倡导采用包容性采样策略，以确保情感计算技术能公平地服务于所有用户。

提出的方法

• 开展文献综述，识别心理状况和年龄等人口统计因素如何影响面部表情和言语。
• 分析现有情感计算数据集在种族、性别/性别、年龄和（心理健康）状态方面的代表性缺口。
• 评估当前数据集元数据中的人口统计信息记录实践，识别不一致和遗漏之处。
• 提出包容性数据集收集的指导原则，强调多样且具代表性的参与者采样。
• 建议对人口统计变量进行标准化记录，以支持情感计算研究中的公平性和可复现性。
• 呼吁建立考虑情感计算系统对边缘化群体社会影响的伦理框架。

实验结果

研究问题

• RQ1 情感计算数据集中代表性不足和多样性缺乏如何影响情绪识别算法的公平性和准确性？
• RQ2 心理健康状况和与年龄相关的外貌变化在多大程度上影响面部表情和言语模式？当前数据集在多大程度上处理了这些因素？
• RQ3 现有情感计算数据集中，种族、性别/性别和年龄等人口统计变量在多大程度上被系统性地记录？
• RQ4 有哪些策略可以提升情感计算数据集的包容性，以确保在多样化人群中的性能均等？
• RQ5 情感计算研究中必须整合哪些伦理考量，以防止对代表性不足群体造成伤害？

主要发现

• 现有情感计算数据集在种族、性别、年龄和心理健康多样性群体方面存在显著代表性不足。
• 数据集中缺乏标准化的人口统计信息记录，阻碍了对算法公平性和偏见的评估。
• 心理健康状况和与年龄相关的面部外观变化可能改变情绪表达，但这些因素在数据集中很少被考虑。
• 由于训练数据存在偏差，当前的情感计算系统可能在代表性不足的群体中表现不佳或存在不公平现象。
• 缺乏包容性采样策略限制了情感计算应用的泛化能力和伦理可行性。
• 迫切需要采用标准化、透明且多样化的数据集整理实践，以确保情绪识别系统实现公平结果。