[论文解读] Scope of Pre-trained Language Models for Detecting Conflicting Health Information

Joseph Gatto, Madhusudan Basak+1 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用 4

一句话总结

本文提出使用预训练语言模型进行健康冲突检测（HCD），并引入一种人机协同的合成数据增强方法，以扩展有限的真实世界HCD数据集。DeBERTa-v3在所有冲突类型上的平均F1得分最高，达到0.68，且合成数据提升了模型在多种冲突类型上的泛化能力，扩展后的数据集已公开发布于GitHub。

ABSTRACT

An increasing number of people now rely on online platforms to meet their health information needs. Thus identifying inconsistent or conflicting textual health information has become a safety-critical task. Health advice data poses a unique challenge where information that is accurate in the context of one diagnosis can be conflicting in the context of another. For example, people suffering from diabetes and hypertension often receive conflicting health advice on diet. This motivates the need for technologies which can provide contextualized, user-specific health advice. A crucial step towards contextualized advice is the ability to compare health advice statements and detect if and how they are conflicting. This is the task of health conflict detection (HCD). Given two pieces of health advice, the goal of HCD is to detect and categorize the type of conflict. It is a challenging task, as (i) automatically identifying and categorizing conflicts requires a deeper understanding of the semantics of the text, and (ii) the amount of available data is quite limited. In this study, we are the first to explore HCD in the context of pre-trained language models. We find that DeBERTa-v3 performs best with a mean F1 score of 0.68 across all experiments. We additionally investigate the challenges posed by different conflict types and how synthetic data improves a model's understanding of conflict-specific semantics. Finally, we highlight the difficulty in collecting real health conflicts and propose a human-in-the-loop synthetic data augmentation approach to expand existing HCD datasets. Our HCD training dataset is over 2x bigger than the existing HCD dataset and is made publicly available on Github.

研究动机与目标

• 为解决在线平台上健康建议冲突检测的挑战，即同一信息在不同语境下可能相互冲突。
• 开发一种可扩展的、上下文感知的方法，利用预训练语言模型识别和分类健康冲突。
• 通过提出一种人机协同的合成数据生成方法，克服标注HCD数据稀缺的问题。
• 通过数据增强提升模型在多种冲突类型（直接、时间、条件及亚典型）上的鲁棒性。
• 提供一个公开可用的、扩展后的HCD数据集，以支持上下文化健康信息系统领域的未来研究。

提出的方法

• 在人工标注的HCD数据集上微调五种预训练语言模型（BERT、RoBERTa、DeBERTa-v3、ELECTRA和DistilBERT），用于二分类和多分类的冲突检测。
• 实施一种人机协同的合成数据生成流程，其中众包工作者基于从真实HCD样本中提取的提示生成冲突对。
• 使用Captum进行模型可解释性分析，生成词元归因分数，以验证模型注意力与人类对输入重要性的判断是否一致。
• 通过数据增强将训练数据集规模扩大两倍以上，提升模型泛化能力。
• 将冲突分为四类：直接、时间、条件和亚典型，其具有不同的语言模式，需采用细致的建模方法。
• 使用所有冲突类型的平均F1得分评估模型性能，并按冲突类型分析性能，以识别模型的优势与局限。

实验结果

研究问题

• RQ1 在涵盖多种冲突类型的健康冲突检测（HCD）任务中，哪种预训练语言模型架构表现最佳？
• RQ2 合成数据增强在多大程度上提升了模型在真实世界HCD样本上的泛化能力与性能？
• RQ3 通过Captum生成的模型注意力模式在多大程度上与人类对输入重要性的判断一致？
• RQ4 不同类型的冲突（直接、时间、条件、亚典型）对NLP模型分别构成何种独特挑战？
• RQ5 人机协同的合成数据生成方法能否有效扩展有限的HCD数据集，同时保持语义和语言的真实性？

主要发现

• DeBERTa-v3在所有冲突类型上的平均F1得分达到最高，为0.68，优于其他模型，尤其在处理复杂、微妙的语义冲突方面表现更优。
• 合成数据增强显著提升了模型在真实世界HCD数据上的性能，即使真实与合成样本在风格或内容准确性上存在差异，效果依然显著。
• Captum生成的词元归因分数与人类对输入重要性的判断高度一致，验证了模型在冲突检测中的可解释性。
• 条件性和时间性冲突较易检测，而亚典型和直接冲突因语义模式更为微妙，更具挑战性。
• 所提出的“人机协同”合成数据生成方法成功将HCD数据集规模扩展至原始数据集的两倍以上，且数据集已公开发布于GitHub。
• 本研究证实，HCD可扩展用于检测官方与非官方来源（如社交媒体）之间的冲突，从而实现对健康虚假信息的早期识别。