[论文解读] People on Drugs: Credibility of User Statements in Health Communities

Subhabrata Mukherjee, Gerhard Weikum+1 more|arXiv (Cornell University)|May 6, 2017

Misinformation and Its Impacts参考文献 18被引用 15

一句话总结

本文提出了一种概率图模型，联合推断在线健康社区中用户的可信度、陈述的可信度以及语言客观性，以识别可信的药物不良反应报告。通过结合语言特征、用户行为以及来自专家数据库的远程监督，该模型显著提升了对罕见或未知不良反应的提取能力，同时过滤了虚假信息。

ABSTRACT

Online health communities are a valuable source of information for patients and physicians. However, such user-generated resources are often plagued by inaccuracies and misinformation. In this work we propose a method for automatically establishing the credibility of user-generated medical statements and the trustworthiness of their authors by exploiting linguistic cues and distant supervision from expert sources. To this end we introduce a probabilistic graphical model that jointly learns user trustworthiness, statement credibility, and language objectivity. We apply this methodology to the task of extracting rare or unknown side-effects of medical drugs --- this being one of the problems where large scale non-expert data has the potential to complement expert medical knowledge. We show that our method can reliably extract side-effects and filter out false statements, while identifying trustworthy users that are likely to contribute valuable medical information.

研究动机与目标

• 为解决用户生成的健康内容中虚假信息的问题，特别是关于罕见或未知药物不良反应的问题。
• 在在线健康社区中联合建模用户可信度、陈述可信度和语言客观性。
• 利用语言和行为信号，提高从非专家用户帖子中提取不良反应的可靠性。
• 识别出更有可能提供准确医学信息的可信用户。
• 以大规模非专家数据补充专家医学知识，来自在线论坛。

提出的方法

• 构建一个马尔可夫随机场（MRF），其中用户、帖子和陈述节点分别表示可信度、客观性和可信度，这些均作为二值随机变量建模。
• 利用语言特征（如情态动词、推断性连词以及情感线索，例如焦虑、自信等）评估语言客观性。
• 通过社区参与度和用户身份状态推断用户可信度，采用半监督学习方法，利用专家数据库中标记的不良反应陈述。
• 采用EM框架，E步使用MCMC采样，M步使用信赖域牛顿法，实现联合推断与参数估计。
• 通过外部医学数据库将部分不良反应陈述标记为真实或虚假，应用远程监督。
• 模型整合话语特征与情感特征，以区分可信、客观的陈述与情绪化或有偏见的陈述。

实验结果

研究问题

• RQ1 联合建模用户可信度、陈述可信度和语言客观性，能否提升在线健康论坛中可信药物不良反应报告的检测能力？
• RQ2 语言线索（如客观性与情感基调）与医学陈述可信度之间有何相关性？
• RQ3 用户行为与社区地位在多大程度上可预测医学声明的可信度？
• RQ4 半监督概率模型能否有效从未专家用户帖子中提取罕见或未知的不良反应？
• RQ5 该模型在过滤虚假陈述的同时，与基线方法相比，在保留罕见但准确的不良反应报告方面表现如何？

主要发现

• 经与专家医学知识对比验证，该模型在提取可信药物不良反应方面显著优于所有基线模型。
• 该模型在识别更可能报告准确医学信息的可信用户方面表现出高准确率。
• 用户可信度和语言客观性是陈述可信度的强预测因子，情绪化或有偏见的语言会降低其可信度感知。
• 与单独建模用户或语言相比，联合推断框架在不良反应提取中同时提升了精确率与召回率。
• 用户研究证实，该模型能有效识别标准医学数据库中未收录的罕见不良反应，证明其在补充专家知识方面的价值。
• 尽管性能表现强劲，召回率仍受限于底层信息抽取系统无法识别同义表达的不良反应（例如，'噩梦'与'不寻常的梦境'），表明未来通过更优的信息抽取工具仍有改进空间。