[论文解读] Ultrasound Video Summarization using Deep Reinforcement Learning

Tianrui Liu, Qingjie Meng+4 more|arXiv (Cornell University)|May 19, 2020

Video Analysis and Summarization参考文献 18被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的超声视频摘要方法，采用双向LSTM建模帧特征，并设计了一项强调诊断视图平面检测、代表性及多样性的奖励函数。该方法在无监督设置下表现尤为出色，胎儿超声视频摘要的F1得分为63.23%，在将视频长度减少高达85%的同时，有效保留了关键诊断信息。

ABSTRACT

Video is an essential imaging modality for diagnostics, e.g. in ultrasound imaging, for endoscopy, or movement assessment. However, video hasn't received a lot of attention in the medical image analysis community. In the clinical practice, it is challenging to utilise raw diagnostic video data efficiently as video data takes a long time to process, annotate or audit. In this paper we introduce a novel, fully automatic video summarization method that is tailored to the needs of medical video data. Our approach is framed as reinforcement learning problem and produces agents focusing on the preservation of important diagnostic information. We evaluate our method on videos from fetal ultrasound screening, where commonly only a small amount of the recorded data is used diagnostically. We show that our method is superior to alternative video summarization methods and that it preserves essential information required by clinical diagnostic standards.

研究动机与目标

• 为解决临床实践中长时超声视频记录回顾性分析效率低下的问题。
• 开发一种完全自动化的视频摘要方法，无需依赖人工标注标签即可保留诊断关键信息。
• 将超声视频摘要建模为强化学习决策任务，以优化帧的选择。
• 引入一种新型的诊断视图平面奖励，通过与临床标准对齐来提升摘要质量。
• 在胎儿超声筛查视频上评估该方法，因为此类数据中仅一小部分被用于诊断。

提出的方法

• 该方法首先使用基于CNN的编码器从输入视频帧中提取深层视觉特征，随后通过双向LSTM对时间依赖性进行序列建模。
• 强化学习智能体基于复合奖励函数预测动作（保留或排除），以选择关键帧用于摘要。
• 奖励函数由三个部分组成：代表性（$\mathcal{R}_{\text{rep}}$）、多样性（$\mathcal{R}_{\text{div}}$）和诊断视图平面检测概率（$\mathcal{R}_{\text{det}}$）。
• 模型采用策略梯度方法进行训练，目标是最大化帧序列上的期望累积奖励。
• 该框架支持监督与无监督训练，即使缺乏临床标注也能实现部署。
• 诊断视图平面奖励源自一个预训练的标准视图平面检测网络，使帧选择与临床相关视图保持一致。

实验结果

研究问题

• RQ1 深度强化学习框架能否在有效保留诊断关键内容的同时，成功摘要超声视频？
• RQ2 与标准的代表性与多样性奖励相比，引入诊断视图平面奖励在多大程度上提升了摘要性能？
• RQ3 在缺乏临床标注的情况下，该方法在无监督设置下的表现能达到何种程度？
• RQ4 摘要长度如何影响生成摘要的质量？
• RQ5 所提出的方法是否在真实临床超声数据上优于现有的视频摘要基线方法？

主要发现

• 在将视频摘要至原始长度15%时，该方法在监督设置下取得63.23%的F1得分，在无监督设置下为59.58%。
• 仅引入诊断视图平面奖励（$\mathcal{R}_{\text{det}}$）相比仅使用$\mathcal{R}_{\text{rep}}$与$\mathcal{R}_{\text{div}}$，可使无监督F1得分提升11.45分。
• 当三个奖励组件全部结合时，模型性能达到最优：监督设置下F1得分为63.23%，无监督设置下为59.58%。
• 随着摘要长度增加（从15%增至45%），监督与无监督模型的F1得分均持续提升，表明具有良好的可扩展性。
• 定性结果表明，与先前的SOTA方法相比，生成摘要与真实标注摘要的重叠度更高，证明其更有效地保留了关键诊断帧。
• 消融实验确认，$\mathcal{R}_{\text{det}}$是影响最大的组件，尤其在低资源（无监督）场景中表现突出。