[论文解读] #phramacovigilance - Exploring Deep Learning Techniques for Identifying Mentions of Medication Intake from Twitter

Debanjan Mahata, Jasper Friedrichs+2 more|arXiv (Cornell University)|May 16, 2018

Misinformation and Its Impacts被引用 9

一句话总结

该论文提出了一种浅层卷积神经网络（CNN）的堆叠集成模型，用于识别Twitter帖子中的个人用药行为，采用随机超参数搜索和预训练词嵌入方法。在公开数据集上，该模型实现了0.693的SOTA（最先进）微平均F1分数，优于现有模型在分类个人用药、可能用药和非用药微博方面的表现。

ABSTRACT

Mining social media messages for health and drug related information has received significant interest in pharmacovigilance research. Social media sites (e.g., Twitter), have been used for monitoring drug abuse, adverse reactions of drug usage and analyzing expression of sentiments related to drugs. Most of these studies are based on aggregated results from a large population rather than specific sets of individuals. In order to conduct studies at an individual level or specific cohorts, identifying posts mentioning intake of medicine by the user is necessary. Towards this objective, we train different deep neural network classification models on a publicly available annotated dataset and study their performances on identifying mentions of personal intake of medicine in tweets. We also design and train a new architecture of a stacked ensemble of shallow convolutional neural network (CNN) ensembles. We use random search for tuning the hyperparameters of the models and share the details of the values taken by the hyperparameters for the best learnt model in different deep neural network architectures. Our system produces state-of-the-art results, with a micro- averaged F-score of 0.693.

研究动机与目标

• 开发准确的文本分类系统，以识别社交媒体帖子中的个人用药行为。
• 解决在非正式、嘈杂的Twitter文本中区分个人用药与单纯提及的挑战。
• 通过利用社交媒体数据实现个体或群体层面的健康监测，提升药物警戒能力。
• 设计并训练一种新型的浅层CNN堆叠集成模型，以提升性能。
• 公开训练好的模型和最优超参数配置，以支持可复现性与进一步研究。

提出的方法

• 在公开的Twitter数据集上训练了多种深度神经网络架构，包括标准CNN、多通道CNN、BLSTM以及CNN+BLSTM模型。
• 设计了一种浅层CNN集成的堆叠集成模型，以提升分类性能。
• 采用随机搜索对学习率、dropout率、卷积核大小、卷积核数量以及词嵌入类型等超参数进行调优。
• 在多通道模型中，对Godin、Shin和GloVe等不同配置的预训练词嵌入进行组合使用。
• 通过5折交叉验证优化模型，并在保留的测试集上进行评估。
• 基于验证集上的F1分数选择表现最佳的模型，并详细报告其超参数配置。

实验结果

研究问题

• RQ1 深度学习模型能否有效分类短文本、非正式的Twitter帖子中的个人用药行为？
• RQ2 与标准深度学习架构相比，浅层CNN的堆叠集成模型在识别个人用药提及方面表现如何？
• RQ3 哪些超参数配置能为该分类任务带来最优性能？
• RQ4 随机搜索能否有效调优该低资源、噪声较大的NLP任务的超参数？
• RQ5 与SMM4H共享任务中的最先进系统相比，所提出的模型表现如何？

主要发现

• 所提出的浅层CNN集成的堆叠集成模型实现了0.693的微平均F1分数，优于所有其他测试模型。
• 表现最佳的模型在训练集上的F1+2分数为0.725，在测试集上的F1+2分数为0.693。
• 随机搜索成功识别出高性能的超参数配置，最优值包括学习率0.0001、dropout率0.4–0.9，以及卷积核大小[1,2,3,4,5]或[2,3,3,3,4]。
• 使用Godin词嵌入和卷积核大小[1,2,3,4,5]的多通道CNN模型在测试集上的F1+2分数达到0.6866。
• 该系统在SMM4H共享任务中优于其他最先进模型，包括UKNLP（F1: 0.689）和NRC-Canada（F1: 0.668）。
• 作者已公开所有训练好的模型及其最优超参数配置，以支持可复现性与进一步研究。