[论文解读] Topic Independent Identification of Agreement and Disagreement in Social Media Dialogue

Amita Misra, Marilyn Walker|arXiv (Cornell University)|Sep 3, 2017

Speech and dialogue systems被引用 5

一句话总结

本文提出了一种主题无关的方法，利用理论驱动的语言特征来识别社交媒体对话中的同意与不同意。该方法在检测拒绝（不同意）方面达到了66%的准确率，比单字基线模型高出6个百分点，表明诸如缓和语、否定和话语标记等特征能可靠地在各类在线论坛主题中标识不同意。

ABSTRACT

Research on the structure of dialogue has been hampered for years because large dialogue corpora have not been available. This has impacted the dialogue research community's ability to develop better theories, as well as good off the shelf tools for dialogue processing. Happily, an increasing amount of information and opinion exchange occur in natural dialogue in online forums, where people share their opinions about a vast range of topics. In particular we are interested in rejection in dialogue, also called disagreement and denial, where the size of available dialogue corpora, for the first time, offers an opportunity to empirically test theoretical accounts of the expression and inference of rejection in dialogue. In this paper, we test whether topic-independent features motivated by theoretical predictions can be used to recognize rejection in online forums in a topic independent way. Our results show that our theoretically motivated features achieve 66% accuracy, an improvement over a unigram baseline of an absolute 6%.

研究动机与目标

• 开发一种基于理论基础语言特征的主题无关方法，用于检测在线对话中的不同意。
• 检验源自礼貌理论、否定和话语关系的语言特征是否能在社交媒体的多样化主题中实现泛化。
• 通过整合表示不 preferred 回应的提示词（如缓和语、否定和对比性标记）来超越基线模型。
• 为在线论辩中的拒绝检测贡献一个稳健且可泛化的分类器，适用于特定领域之外的场景。

提出的方法

• 本研究使用互联网论辩语料库（IAC）作为训练和测试数据集，聚焦于17个主题中的1757篇帖子。
• 特征源自理论框架：缓和语（如“我看不到”）、否定（如“但是”、“仅”）、极性、标点符号以及否认/主张标记。
• 在以“进化”为主题的重点开发集上训练监督分类模型，并在其余17个主题的1757篇帖子上进行测试。
• 该模型结合了多种理论驱动的特征，包括提示词、句法结构和话语标记，以检测拒绝。
• 性能通过F1值和准确率指标与单字基线进行比较，并与先前研究进行评估。
• 错误分析识别出相互拒绝的案例，并建议未来通过句法解析和自动化模式泛化来改进。

实验结果

研究问题

• RQ1 理论上驱动的语言特征是否能独立于主题检测在线对话中的不同意？
• RQ2 缓和语、否定和对比性标记等特征是否能在多样化社交媒体主题中可靠地标识拒绝？
• RQ3 基于语用理论的主题无关分类器在检测不同意方面与单字基线相比表现如何？
• RQ4 特定语言提示（如“我看不到”、“但是”、“你能”）对不同意分类器整体性能的贡献是什么？

主要发现

• 所提出的主题无关分类器在识别不同意方面达到66%的准确率，比单字基线高出6个百分点。
• 理论驱动特征的组合——如缓和语、否定和对比性标记——显著优于基线模型。
• “我看不到”、“但是”、“你能”等特征以及标点符号模式（如多个感叹号）是跨主题不同意的强指标。
• 该模型在17个不同主题中表现出良好的泛化能力，证明了对主题变化的鲁棒性。
• 错误分析揭示了在区分相互拒绝方面存在局限，提示未来工作需引入更深入的句法分析。
• 本研究证实，源自礼貌理论和否定理论的语用层面特征是在线对话中拒绝的可靠预测因子。