[论文解读] The Call for Socially Aware Language Technologies

Diyi Yang, Dirk Hovy+2 more|arXiv (Cornell University)|May 3, 2024

Innovative Teaching and Learning MethodsPsychology被引用 3

一句话总结

本文呼吁在自然语言处理（NLP）中融入社会意识，以应对偏见、毒性及公平性等长期存在的问题，通过将社会因素、互动关系及其影响嵌入语言模型来实现。文章提出了一项基础性转变，倡导将社会意识作为核心能力，强调情感智能、文化语境与伦理设计，以构建更具包容性、可信度和以人为本的AI系统。

ABSTRACT

Language technologies have made enormous progress, especially with the introduction of large language models (LLMs). On traditional tasks such as machine translation and sentiment analysis, these models perform at near-human level. These advances can, however, exacerbate a variety of issues that models have traditionally struggled with, such as bias, evaluation, and risks. In this position paper, we argue that many of these issues share a common core: a lack of awareness of the factors, context, and implications of the social environment in which NLP operates, which we call social awareness. While NLP is getting better at solving the formal linguistic aspects, limited progress has been made in adding the social awareness required for language applications to work in all situations for all users. Integrating social awareness into NLP models will make applications more natural, helpful, and safe, and will open up new possibilities. Thus we argue that substantial challenges remain for NLP to develop social awareness and that we are just at the beginning of a new era for the field.

研究动机与目标

• 弥合NLP系统在处理社会语境、文化细微差别及伦理影响方面的能力缺口，尽管其在正式语言任务上表现优异。
• 指出当前NLP模型缺乏社会意识，导致在现实应用中产生偏见、不安全或排他性结果。
• 倡导NLP研究范式的根本性转变，将社会意识作为核心组成部分，而非事后补充。
• 推动语言学、社会科学与人工智能等领域的跨学科合作，以构建反映多元人类经验与价值观的模型。
• 呼吁建立伦理开发框架，以防范在社会意识系统中出现的滥用、过度依赖与隐私风险。

提出的方法

• 提出‘社会意识’作为一项核心能力，涵盖语言使用中的社会因素、社会互动及社会影响。
• 将社会意识视为情感智能的延伸，特别是心智理论（Theory of Mind），以使模型能够理解他人的情绪与意图。
• 主张社会意识导向的NLP必须考虑文化规范、价值观、权力关系以及跨语言与社群的情境差异。
• 倡导重新定义评估指标与基准，将公平性、信任度与包容性纳入考量，超越传统的准确率与流畅度。
• 呼吁将社会学、语用学及人机交互的洞见整合到NLP模型设计与训练中。
• 强调需要持续监控与动态更新，以确保系统在时间与不同语境中保持相关性与伦理性。

实验结果

研究问题

• RQ1 如何设计NLP模型，使其能够识别并恰当地响应语言中的社会语境、文化差异与权力关系？
• RQ2 为提升公平性、信任度与包容性，社会意识的关键构成要素有哪些，必须嵌入语言模型中？
• RQ3 鉴于社会意识的复杂性与多维性，如何在NLP系统中实现并评估其社会意识？
• RQ4 当NLP系统变得更加社会意识化时，会浮现哪些伦理风险，以及如何在开发过程中加以缓解？
• RQ5 社会意识导向的NLP在医疗、教育与人机交互等高风险领域中，将以何种方式实现变革？

主要发现

• 现代NLP中的诸多问题——如偏见、毒性与不公平性——根源在于缺乏社会意识，而不仅仅是语言或计算层面的缺陷。
• 当前的大规模语言模型在正式NLP任务上表现接近人类水平，但未能考虑社会语境，导致产生排他性或有害的输出。
• 社会意识不仅对NLP至关重要，对包括视觉与机器人在内的所有AI模态同样关键，以实现安全有效的智能体-人类交互。
• 在NLP中整合社会意识可增强信任度、包容性与可及性，尤其对代表性不足的语言与社群具有显著益处。
• 缺乏针对社会意识的标准化指标与评估框架，仍是阻碍该领域发展的主要障碍。
• 亟需跨学科合作与伦理设计原则，以负责任地开发社会意识系统，避免操纵与过度依赖。