[论文解读] Sociocultural Norm Similarities and Differences via Situational Alignment and Explainable Textual Entailment

Sky CH-Wang, Arkadiy Saakyan+3 more|arXiv (Cornell University)|May 23, 2023

Computational and Text Analysis Methods被引用 5

一句话总结

本文提出了一种人机协作框架，通过情境对齐与可解释文本蕴涵，跨文化地发现并比较中、美两国的社会规范。利用知乎讨论与SocialChemistry数据集，构建了一个包含3,069对跨文化规范及其解释的高质量数据集，表明现有参数量小于30亿的模型在可解释社会规范蕴涵这一新任务上表现显著不足。

ABSTRACT

Designing systems that can reason across cultures requires that they are grounded in the norms of the contexts in which they operate. However, current research on developing computational models of social norms has primarily focused on American society. Here, we propose a novel approach to discover and compare descriptive social norms across Chinese and American cultures. We demonstrate our approach by leveraging discussions on a Chinese Q&A platform (Zhihu) and the existing SocialChemistry dataset as proxies for contrasting cultural axes, align social situations cross-culturally, and extract social norms from texts using in-context learning. Embedding Chain-of-Thought prompting in a human-AI collaborative framework, we build a high-quality dataset of 3,069 social norms aligned with social situations across Chinese and American cultures alongside corresponding free-text explanations. To test the ability of models to reason about social norms across cultures, we introduce the task of explainable social norm entailment, showing that existing models under 3B parameters have significant room for improvement in both automatic and human evaluation. Further analysis of cross-cultural norm differences based on our dataset shows empirical alignment with the social orientations framework, revealing several situational and descriptive nuances in norms across these cultures.

研究动机与目标

• 为解决缺乏基于非西方文化规范（特别是中国社会规范）的计算模型的问题。
• 开发一种方法，以情境对齐的方式识别并比较中、美两国文化中的描述性社会规范。
• 为下游推理任务构建一个高质量、可解释的跨文化规范比较数据集。
• 评估现有语言模型在跨文化情境下新任务——可解释社会规范蕴涵——上的表现。
• 基于与社会取向框架对齐的实证数据，分析社会规范中的文化差异。

提出的方法

• 利用跨语言嵌入相似性，将中文（知乎）与美国（SocialChemistry）文化情境中的社会情境进行对齐。
• 使用GPT-3的 few-shot in-context learning 方法，从知乎高票回答中提取中文社会规范。
• 应用思维链（CoT）提示，为中、美社会规范之间的规范蕴涵关系生成文本解释。
• 实施人机反馈循环，以验证、确认并编辑规范对及其解释，确保其质量与文化准确性。
• 构建一个包含3,069对情境对齐规范对、蕴涵关系及自由文本解释的新数据集。
• 使用自动评估与人工评估，对现有语言模型在新任务——可解释社会规范蕴涵——上进行微调与评估。

Figure 1: An example of descriptive norms conditioned on an aligned cross-cultural situation, together with their inference relation and corresponding textual explanation.

实验结果

研究问题

• RQ1 如何通过情境基础，系统性地对齐并比较中、美文化中的社会规范？
• RQ2 现有语言模型（参数量小于30亿）在跨文化情境下可解释社会规范蕴涵任务上的表现程度如何？
• RQ3 在社会规范中，哪些情境与描述性细微差别体现了中、美文化取向的差异？
• RQ4 所提取的规范差异在多大程度上与社会取向模型等既定文化框架一致？
• RQ5 在使用在线问答平台与大语言模型进行跨文化规范发现时，其固有的局限性与偏见是什么？

主要发现

• 所提出的以人为本-人工智能协作框架成功生成了一个高质量的3,069对情境对齐的跨文化规范对数据集，包含文本解释。
• 现有参数量少于30亿的大型语言模型在新任务——可解释社会规范蕴涵——上表现出显著的性能差距，无论在自动评估还是人工评估中均如此。
• 该数据集使基于社会取向框架的实证验证成为可能，尤其凸显了中国文化中的集体主义、关系决定论与权威崇拜，以及美国文化中的个人主义。
• 分析揭示了规范中的情境与描述性细微差别，例如在家庭参与、间接沟通与等级服从方面的不同期望。
• 本研究识别出若干关键局限性，包括知乎内容审核可能带来的偏见、依赖高票答案（可能反映流行度而非准确性）以及语言模型的幻觉或提示诱导效应。
• 作者公开发布其数据集，以鼓励未来在文化内规范差异与社会规范中价值多元性方面的研究。

Figure 2: Our human-AI collaboration framework for creating a cross-cultural Chinese-American social norm NLI dataset through (1) situation alignment, aligning cross-lingual situations between Zhihu and Social Chemistry, (2) social norm extraction, from free-form answers to rules-of-thumb with in-co