[论文解读] Objective evaluation metrics for automatic classification of EEG events

Saeedeh Ziyabari, Vinit Shah+3 more|arXiv (Cornell University)|Dec 29, 2017

EEG and Brain-Computer Interfaces被引用 16

一句话总结

本文提出了两种新颖的评估指标——实际术语加权值（ATWV）和时间对齐事件评分（TAES），以解决传统指标在EEG事件分类中的局限性。作者在TUH EEG语料库上展示了深度学习模型虽然表现优异，但仍因误报率过高而未达到临床接受标准，凸显了更准确反映真实世界可用性和时间对齐精度的评估指标的必要性。

ABSTRACT

The evaluation of machine learning algorithms in biomedical fields for applications involving sequential data lacks standardization. Common quantitative scalar evaluation metrics such as sensitivity and specificity can often be misleading depending on the requirements of the application. Evaluation metrics must ultimately reflect the needs of users yet be sufficiently sensitive to guide algorithm development. Feedback from critical care clinicians who use automated event detection software in clinical applications has been overwhelmingly emphatic that a low false alarm rate, typically measured in units of the number of errors per 24 hours, is the single most important criterion for user acceptance. Though using a single metric is not often as insightful as examining performance over a range of operating conditions, there is a need for a single scalar figure of merit. In this paper, we discuss the deficiencies of existing metrics for a seizure detection task and propose several new metrics that offer a more balanced view of performance. We demonstrate these metrics on a seizure detection task based on the TUH EEG Corpus. We show that two promising metrics are a measure based on a concept borrowed from the spoken term detection literature, Actual Term-Weighted Value (ATWV), and a new metric, Time-Aligned Event Scoring (TAES), that accounts for the temporal alignment of the hypothesis to the reference annotation. We also demonstrate that state of the art technology based on deep learning, though impressive in its performance, still needs significant improvement before it meets very strict user acceptance criteria.

研究动机与目标

• 解决生物医学应用中自动EEG事件分类缺乏标准化、具有临床意义的评估指标的问题。
• 回应临床医生反馈，强调低误报率是重症监护环境中用户接受度的首要标准。
• 开发一个综合敏感性和特异性并反映检测事件时间准确性的单一标量性能指标。
• 利用这些新指标评估最先进深度学习模型的临床准备度。
• 证明现有指标如敏感性和特异性不足以捕捉临床EEG监测系统的真实性能需求。

提出的方法

• 将语音术语检测中的实际术语加权值（ATWV）概念适配至EEG事件分类，根据事件的相关性和与参考事件的时间接近度进行加权。
• 提出一种新指标——时间对齐事件评分（TAES），明确考虑预测结果与参考标注之间的时间偏移。
• 在TUH EEG语料库上应用这两种指标进行癫痫检测任务，该语料库是一个大规模、公开可用的EEG数据集。
• 使用传统指标（敏感性、特异性）和所提出的ATWV与TAES对多个深度学习模型的性能进行比较。
• 将24小时误报率作为关键临床基准，评估实际可用性。
• 采用统计分析比较ATWV和TAES对模型超参数和检测阈值变化的敏感性。

实验结果

研究问题

• RQ1 传统评估指标如敏感性和特异性在EEG事件检测中为何无法反映临床优先事项？
• RQ2 所提出的ATWV和TAES指标在多大程度上更好地捕捉了EEG事件预测的时间准确性与临床相关性？
• RQ3 ATWV和TAES能否检测到在标准指标下无法区分的模型性能差异？
• RQ4 最先进深度学习模型在新指标下表现如何，特别是每24小时的误报率？
• RQ5 新指标在多大程度上与临床医生报告的接受标准一致，尤其是低误报率？

主要发现

• 传统指标如敏感性和特异性不足以评估EEG事件检测系统，因其对时间错位和误报率不敏感。
• 所提出的ATWV指标通过根据术语相关性和与参考事件的时间接近度加权事件，提供了更平衡的评估。
• TAES通过惩罚与参考标注时间错位的预测（即使预测本身正确）显著提升了性能评估质量。
• 尽管敏感性和特异性较高，最先进的深度学习模型仍产生不可接受的高误报率——每24小时超过100次——限制了其临床应用。
• 新指标揭示了标准指标无法显示的性能差距，表明模型仍需改进以满足临床阈值要求。
• 本研究证明，ATWV或TAES等单一标量指标可有效指导算法开发，同时与临床优先事项保持一致。