[论文解读] The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data

Catherine Ordun, Edward Raff+1 more|arXiv (Cornell University)|Sep 22, 2020

Infrared Thermography in Medicine被引用 10

一句话总结

本文回顾了在使用人工智能进行热成像面部情绪识别（FER）时面临的挑战与局限，强调尽管热成像相比RGB图像在实现半匿名、抗偏见的情绪检测方面具有潜力，但当前数据集仍存在标准化程度低、多样性不足及文档不充分等问题。作者主张通过集中化数据共享、跨数据集整合以及严格的隐私验证，推动伦理化、高保真度的热成像FER人工智能发展。

ABSTRACT

With the increased attention on thermal imagery for Covid-19 screening, the public sector may believe there are new opportunities to exploit thermal as a modality for computer vision and AI. Thermal physiology research has been ongoing since the late nineties. This research lies at the intersections of medicine, psychology, machine learning, optics, and affective computing. We will review the known factors of thermal vs. RGB imaging for facial emotion recognition. But we also propose that thermal imagery may provide a semi-anonymous modality for computer vision, over RGB, which has been plagued by misuse in facial recognition. However, the transition to adopting thermal imagery as a source for any human-centered AI task is not easy and relies on the availability of high fidelity data sources across multiple demographics and thorough validation. This paper takes the reader on a short review of machine learning in thermal FER and the limitations of collecting and developing thermal FER data for AI training. Our motivation is to provide an introductory overview into recent advances for thermal FER and stimulate conversation about the limitations in current datasets.

研究动机与目标

• 审视当前基于人工智能的热成像面部情绪识别（FER）现状，识别关键技术与伦理方面的局限。
• 解决缺乏标准化、高质量且多样化热成像FER数据集的问题，以促进可靠的人工智能训练与验证。
• 评估热成像相较于基于RGB的FER系统，在提供有效隐私保护及减少人口统计偏差方面的潜力。
• 提出可操作的推进措施，如数据集集中化、跨数据集整合及隐私验证，以促进伦理化且稳健的热成像FER研究。
• 激发对热成像FER潜在偏见与滥用风险的深入讨论，尤其考虑到其在公共卫生与监控场景中的日益广泛应用。

提出的方法

• 对现有热成像FER文献进行全面回顾，重点关注数据集、实验设计与人工智能方法。
• 分析文献中的14个热成像FER数据集，识别数据采集协议、标注实践与人口统计代表性方面的不一致之处。
• 评估长波红外（LWIR）传感器（8–14 μm）在捕捉与情绪状态相关的皮下温度变化中的作用，使用FLIR SC660和Raytheon ExplorIR等相机的数据。
• 提出一种数据集整理框架，包括传感器特定、情绪类型及情境（自发/摆拍）的元数据标注，以提升可复现性。
• 倡导采用标准化文档模板（例如Gebru等人，2018年提出的模板）以提升热成像FER研究的透明度与可复现性。
• 呼吁开展经机构审查委员会（IRB）批准的研究，以定量评估热成像是否能有效隐藏年龄、性别、种族与民族等敏感身份信息，从而验证其真实的隐私保护优势。

实验结果

研究问题

• RQ1 与基于RGB的面部识别相比，热成像在多大程度上能实现半匿名的情绪识别？
• RQ2 哪些主要的技术与数据相关局限阻碍了可靠热成像FER人工智能模型的发展？
• RQ3 现有热成像FER数据集在人口统计、实验条件与标注实践方面，其多样性和代表性如何？
• RQ4 热成像FER数据能否有效隐藏如种族与性别等敏感人口统计属性？有何证据支持这一说法？
• RQ5 研究人员可采取哪些实际步骤来提升热成像FER研究中的数据质量、互操作性与伦理标准？

主要发现

• 热成像能够捕捉与情绪状态相关的皮下温度变化，相较于RGB，提供一种非侵入性、可能更具生物学相关性的FER模态。
• 尽管前景广阔，但目前仅有少量标准化、公开可用的热成像FER数据集，且多数在人口多样性与实验一致性方面存在局限。
• 许多热成像FER数据集为专有、未公开或采用不一致的采集协议，导致复现与基准测试困难。
• 尚缺乏实证验证以证明热成像能否有效隐藏身份或如种族与性别等敏感人口统计属性。
• 将热成像FER与面部识别（FR）结合，即使热成像数据比RGB更难识别，仍可能因热成像生物特征模式可被用于热成像FR而削弱隐私保护。
• 研究人员应采纳标准化文档、集中化数据集，并开展经IRB批准的研究，以在部署热成像FER系统前验证其隐私与偏见缓解主张。