[论文解读] Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

Kaitlyn Zhou, Jena D. Hwang+4 more|arXiv (Cornell University)|Jul 10, 2024

Complex Systems and Decision MakingDecision Sciences被引用 3

一句话总结

本文提出了 Rel-A.I.，这是一种在运行时、系统级别的评估框架，通过分析动态交互情境中的话语标记（例如 '我认为它是...'）来衡量人类对语言模型（LM）输出的依赖程度。研究发现，依赖行为显著受到交互因素的影响，如先前互动、拟人化线索和主题领域，导致相同表达的依赖频率在不同情境下最高可达20%的差异，这挑战了‘言语化自信程度单独决定依赖行为’的假设。

ABSTRACT

The ability to communicate uncertainty, risk, and limitation is crucial for the safety of large language models. However, current evaluations of these abilities rely on simple calibration, asking whether the language generated by the model matches appropriate probabilities. Instead, evaluation of this aspect of LLM communication should focus on the behaviors of their human interlocutors: how much do they rely on what the LLM says? Here we introduce an interaction-centered evaluation framework called Rel-A.I. (pronounced "rely"}) that measures whether humans rely on LLM generations. We use this framework to study how reliance is affected by contextual features of the interaction (e.g, the knowledge domain that is being discussed), or the use of greetings communicating warmth or competence (e.g., "I'm happy to help!"). We find that contextual characteristics significantly affect human reliance behavior. For example, people rely 10% more on LMs when responding to questions involving calculations and rely 30% more on LMs that are perceived as more competent. Our results show that calibration and language quality alone are insufficient in evaluating the risks of human-LM interactions, and illustrate the need to consider features of the interactional context.

研究动机与目标

• 为填补理解交互情境如何在言语化自信之外影响人类对语言模型依赖程度的空白。
• 开发一种系统级别的评估方法，以捕捉真实人机交互过程中在运行时的依赖行为。
• 研究先前互动、模型人格特征（亲和力）和主题领域等因素如何影响依赖决策。
• 为研究人员和开发者提供一种可部署的方法论，用于在语言模型公开部署前评估其依赖程度。
• 挑战‘仅言语化自信程度决定依赖’的假设，强调在人机交互中语境和关系因素的重要性。

提出的方法

• Rel-A.I. 采用自激励任务设计，让用户在自然、多轮交互中与语言模型互动，以实时测量依赖行为。
• 识别并追踪语言模型生成回复中的认识论标记（例如 '我相信'、'也许'、'毫无疑问'）作为自信与不确定性的代理指标。
• 该方法整合了元认知感知问题，以评估用户对AI代理亲和力和能力的感知，从而捕捉拟人化影响。
• 在三种交互情境下评估依赖行为：长期互动、拟人化生成内容、以及不同主题内容的交互。
• 依赖程度通过用户在自身回应中采用或重复语言模型生成的认识论标记的频率来衡量。
• 该框架实现了在运行时、系统级别的依赖测量，无需依赖事后自报或人工构造的自信标注。

实验结果

研究问题

• RQ1 与语言模型的先前互动在何种程度上影响人类对其输出的依赖程度，尤其是在自信水平变化时？
• RQ2 语言模型所呈现的亲和力或拟人化人格在多大程度上影响人类对其回应的依赖程度？
• RQ3 对话的主题领域（例如哲学、法律、宗教）在多大程度上影响对语言模型生成的认识论标记的依赖程度？
• RQ4 相同的中等程度自信表达（'我相当确定它是...'）是否因交互情境不同而导致依赖率存在差异？
• RQ5 诸如模型一致性与感知人格等语境特征，如何与语言自信共同作用，塑造依赖行为？

主要发现

• 对于相同的认识论表达，依赖程度在不同交互语境下最高可相差20%，例如受先前模型行为的影响。
• 当模型通常表现出高度自信时，中等程度自信的陈述（'我相当确定它是...'）被依赖的程度显著降低，相较于通常表现不确定的模型。
• 拟人化线索（如 '我很乐意帮忙！'）会显著提高对相同事实性陈述的依赖程度，即使自信水平完全相同。
• 主题领域显著影响依赖程度，哲学与宗教等领域的依赖度高于数学等计算密集型领域。
• 对AI代理亲和力与能力的感知会独立影响依赖程度，即使语言自信程度保持不变。
• 仅凭言语化自信程度不足以预测依赖行为；在人类-语言模型依赖模型中，必须考虑交互语境因素，包括历史记录、人格特征和话题内容。