[论文解读] SoCal: Selective Oracle Questioning for Consistency-based Active Learning of Cardiac Signals

Dani Kiyasseh, Tingting Zhu+1 more|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 47被引用 4

一句话总结

SoCal 是一种用于心脏信号分析的一致性驱动主动学习框架，通过动态选择查询人工标注者或生成伪标签来减轻医生的标注负担。即使在标注者反馈存在噪声的情况下，该框架仍能保持强大的模型性能，显著降低对人工标注的依赖，同时保持高精度。

ABSTRACT

The ubiquity and rate of collection of cardiac signals produce large, unlabelled datasets. Active learning (AL) can exploit such datasets by incorporating human annotators (oracles) to improve generalization performance. However, the over-reliance of existing algorithms on oracles continues to burden physicians. To minimize this burden, we propose SoCal, a consistency-based AL framework that dynamically determines whether to request a label from an oracle or to generate a pseudo-label instead. We show that our framework decreases the labelling burden while maintaining strong performance, even in the presence of a noisy oracle.

研究动机与目标

• 通过最小化对人工标注者的依赖，减轻心脏信号分析中医护人员的标注负担。
• 在人工标注者反馈存在噪声或不可靠的情况下，仍保持高模型性能。
• 开发一种动态决策机制，根据预测一致性选择是查询人工标注者还是进行伪标注。
• 实现在大规模未标注心脏信号数据集中的高效主动学习。
• 在最小化人工干预的前提下，提升心脏信号分类的泛化能力。

提出的方法

• SoCal 使用基于一致性的准则，通过数据增强后的多次前向传播评估模型预测结果的一致性。
• 若在不同增强视图下的预测结果保持一致，模型将生成伪标签，而非查询人工标注者。
• 当预测结果不一致时，系统会向人工标注者查询真实标签。
• 该框架整合了不确定性与一致性度量，以指导在查询与伪标注之间的决策。
• 采用动态阈值机制，平衡探索（查询）与利用（伪标注）。
• 该方法通过结合监督学习与伪监督学习损失项的端到端训练方式实现。

实验结果

研究问题

• RQ1 在心脏信号分类的主动学习中，如何在不牺牲模型性能的前提下减轻医生的标注负担？
• RQ2 在基于一致性的主动学习中，伪标注在多大程度上可以替代人工标注查询用于心脏信号分析？
• RQ3 与传统主动学习相比，该框架在人工标注者反馈存在噪声的条件下表现如何？
• RQ4 在提升模型泛化能力方面，查询与伪标注之间应保持何种最优平衡？
• RQ5 基于预测一致性的动态决策能否提升心脏信号标注的效率？

主要发现

• SoCal 显著减少了训练过程中所需的标注查询次数，从而减轻了标注负担。
• 即使人工标注者提供有噪声的标签，该框架仍能保持高分类准确率。
• 基于预测一致性的动态伪标注可随时间推移持续提升模型的泛化能力。
• 在标签效率与性能稳定性方面，该方法优于标准主动学习基线方法。
• 基于一致性的决策机制可实现可靠的模型更新，且人工干预极少。
• 该方法对标签噪声具有鲁棒性，适用于真实临床环境的部署。