[论文解读] Seamlessly Integrating Factual Information and Social Content with Persuasive Dialogue

Maximillian Chen, Weiyan Shi+5 more|arXiv (Cornell University)|Mar 15, 2022

Speech and dialogue systems被引用 5

一句话总结

本文提出了响应-议程推动（RAP）框架，这是一种模块化对话系统，通过利用对话行为分类和基于细粒度说服策略的条件生成，将事实性回答与社交回应无缝整合到说服性对话中。在用户评估中，RAP在所有维度（包括能力感和友好度）上均优于强大的端到端模型（BART），通过基于社会科学理论的显式社交与任务导向整合，展现出更高的连贯性和说服力。

ABSTRACT

Complex conversation settings such as persuasion involve communicating changes in attitude or behavior, so users' perspectives need to be addressed, even when not directly related to the topic. In this work, we contribute a novel modular dialogue system framework that seamlessly integrates factual information and social content into persuasive dialogue. Our framework is generalizable to any dialogue tasks that have mixed social and task contents. We conducted a study that compared user evaluations of our framework versus a baseline end-to-end generation model. We found our framework was evaluated more favorably in all dimensions including competence and friendliness, compared to the end-to-end model which does not explicitly handle social content or factual questions.

研究动机与目标

• 为解决在说服性对话系统中同时整合事实性信息与社交内容的挑战，这些内容在端到端模型中往往被单独处理或被忽略。
• 开发一个可泛化的框架，支持在单一连贯的对话流程中实现任务导向目标（例如回答问题）与社交目标（例如建立亲密度）的结合。
• 通过基于社会科学研究原则（如格里森准则和情感参与策略）来生成回应，提升说服性对话中的用户体验。
• 通过基于对话行为的条件生成，实现对说服策略（例如情感诉求、可信度诉求）的细粒度控制。
• 使用人类评估在PersuasionForGood数据集上对框架进行实证评估，与强大的端到端基线模型进行比较。

提出的方法

• RAP采用模块化架构，包含三个核心组件：社交回应模块、事实性答案模块和议程推动模块。
• 社交回应模块使用在预训练语言模型上的零样本微调，生成具有同理心且上下文相关的回应。
• 事实性答案模块使用Sentence-BERT对训练数据按语义相似性进行聚类，以检索和生成答案。
• 议程推动模块基于对话行为（例如“情感诉求”、“可信度诉求”）进行条件生成，利用大语言模型生成说服性回应。
• 调度器模块根据检测到的对话行为，将用户话语路由至相应模块，确保模块化且有针对性的回应生成。
• 该框架在PersuasionForGood数据集上进行训练和评估，对话行为注释用于条件化议程推动和回应模块。

实验结果

研究问题

• RQ1 与端到端模型相比，一种显式整合事实性回应与社交回应的模块化对话系统，是否能提升用户感知到的能力感与友好度？
• RQ2 对说服策略（例如情感诉求）实现细粒度控制，在多大程度上能提升说服性对话系统的有效性？
• RQ3 社交认可与事实准确性相结合，如何影响用户参与度和说服性对话中的感知同理心？
• RQ4 RAP框架是否可泛化至慈善捐赠说服之外的其他对话任务？
• RQ5 对话行为分类准确率对议程推动模块性能的影响如何？

主要发现

• 在所有用户评估维度中，RAP均优于端到端的BART基线模型，包括能力感、友好度和整体满意度。
• 该框架实现了更高的感知连贯性与说服力，用户报告称RAP对社交线索的回应更加自然和富有同理心。
• 议程推动模块的对话行为分类准确率为62.3%，受限于底层分类器的F1得分0.66，表明性能上限与对话行为检测能力相关。
• 若无对话行为分类，BART模型的对话行为准确率降至30%以下，凸显结构化控制在说服性回应生成中的关键作用。
• 社交回应模块在零样本设置下实现了高质量输出，表明其在不同领域间具有强大的迁移能力。
• 事实性答案模块通过基于Sentence-BERT的聚类，有效检索并生成了准确的回答，支持可靠的 factual 集成。