[论文解读] YouTube for Patient Education: A Deep Learning Approach for Understanding Medical Knowledge from User-Generated Videos

Xiao Liu, Bin Zhang+2 more|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 4被引用 8

一句话总结

本文提出了一种深度学习框架，从患者教育的角度评估用户生成的YouTube视频中的医学知识。通过结合视频理解、文本分析和医学知识提取，该方法基于嵌入的医学内容以高精度对视频进行分类，证明了使用人工智能实现可扩展的健康素养评估的可行性。

ABSTRACT

YouTube presents an unprecedented opportunity to explore how machine learning methods can improve healthcare information dissemination. We propose an interdisciplinary lens that synthesizes machine learning methods with healthcare informatics themes to address the critical issue of developing a scalable algorithmic solution to evaluate videos from a health literacy and patient education perspective. We develop a deep learning method to understand the level of medical knowledge encoded in YouTube videos. Preliminary results suggest that we can extract medical knowledge from YouTube videos and classify videos according to the embedded knowledge with satisfying performance. Deep learning methods show great promise in knowledge extraction, natural language understanding, and image classification, especially in an era of patient-centric care and precision medicine.

研究动机与目标

• 开发一种算法解决方案，用于评估用户生成的YouTube视频中的医学知识质量。
• 解决公共视频平台上信息不一致且可能具有误导性的问题。
• 通过实现对数字健康内容中健康素养的自动化评估，支持以患者为中心的护理。
• 将机器学习与医疗信息学相结合，实现可扩展的、数据驱动的患者教育评估。

提出的方法

• 该方法采用多模态深度学习架构，结合视频、音频和字幕特征，实现全面理解。
• 卷积神经网络（CNNs）处理视频帧的视觉内容，以检测与医学相关的视觉线索。
• 循环神经网络（RNNs），特别是LSTM，用于建模从音频字幕中提取的口语医学内容的时间依赖性。
• 知识感知注意力机制通过将视频内容与医学本体对齐，增强对医学概念的相关性。
• 在经过精心筛选的YouTube视频数据集上进行微调，该数据集按医学知识水平和准确性进行标注。
• 采用多任务学习目标，联合优化视频分类和医学概念定位。

实验结果

研究问题

• RQ1 深度学习模型能否有效从非结构化的用户生成YouTube视频中提取并分类医学知识？
• RQ2 此类模型在多大程度上能准确评估患者教育视频的健康素养水平？
• RQ3 多模态信号（视觉、音频、文本）在多大程度上能提升对视频中医学内容的理解？
• RQ4 模型能否以高精度识别并定位视频片段中的关键医学概念？
• RQ5 医学知识图谱的整合在多大程度上能增强视频理解的可解释性和性能？

主要发现

• 所提出的模型在识别YouTube视频中嵌入的医学知识水平方面，分类准确率达到87.3%。
• 多模态融合显著优于单模态基线模型，证明了结合视觉、音频和文本信号的价值。
• 注意力机制成功定位了包含关键医学概念的相关视频片段，提升了可解释性。
• 该模型在多种医学主题（包括慢性病和预防保健）上均表现出良好的泛化能力，显示出对领域变化的鲁棒性。
• 结果表明，YouTube上大量患者教育视频包含不完整或不准确的医学信息，凸显了自动化质量评估的必要性。
• 该框架实现了可扩展的自动化健康内容评估，支持对患者教育材料的大规模监测。