[论文解读] Neural eliminators and classifiers

Włodzisław Duch, Rafał Adamczak+1 more|arXiv (Cornell University)|Jan 28, 2019

Neural Networks and Applications参考文献 15被引用 4

一句话总结

本文提出神经消除器作为解决重叠或噪声数据中不可靠分类问题的方案，通过将单类预测替换为低概率类别的消除。利用改进的误差函数和分类器的概率输出——尤其是由50个FSM神经网络组成的委员会——在允许消除两个类别的条件下，测试数据准确率达到92%，从而在具有挑战性的医学诊断任务中实现可靠的决策支持。

ABSTRACT

Classification may not be reliable for several reasons: noise in the data, insufficient input information, overlapping distributions and sharp definition of classes. Faced with several possibilities neural network may in such cases still be useful if instead of a classification elimination of improbable classes is done. Eliminators may be constructed using classifiers assigning new cases to a pool of several classes instead of just one winning class. Elimination may be done with the help of several classifiers using modified error functions. A real life medical application of neural network is presented illustrating the usefulness of elimination.

研究动机与目标

• 解决传统分类在重叠或噪声数据中的局限性，特别是在类别边界模糊的医学诊断中。
• 克服分布重叠以及类别标签模糊或不完整时标准分类的不可靠性。
• 通过消除不可能的类别而非分配单一类别标签，提升决策支持能力。
• 利用概率输出和专为类别消除设计的改进误差函数，提高分类器的可靠性。
• 在个体分类不确定时，实现对剩余类别混合体的识别。

提出的方法

• 利用分类器的概率输出（例如多层感知机、FSM网络）估计后验概率 $ p(C_k|\mathbf{X};M) $。
• 应用改进的误差函数，促使真实类别位于最可能的k个类别之中，而非仅作为最高单个类别。
• 通过分析混淆矩阵构建消除器，并训练模型以最小化非相关类别消除过程中的错误。
• 实施两阶段系统：第一阶段，使用50个FSM网络组成的委员会对高置信度案例进行分类；第二阶段，对不确定案例消除两类。
• 使用蒙特卡洛估计推导非概率模型的概率，实现置信度评估。
• 通过一种误差函数优化‘超系统’，将正确分类定义为真实类别位于前两名输出中，从而实现更宽松的成功标准。

实验结果

研究问题

• RQ1 神经网络能否被重新训练以优先消除低概率类别，而非进行单类别预测，特别是在数据重叠的情况下？
• RQ2 当目标是将真实类别保留在前k名输出中时，修改误差函数如何影响分类性能？
• RQ3 当标准分类失败时，类别消除在医学诊断中能在多大程度上提升决策支持？
• RQ4 使用概率神经网络委员会对类别消除的可靠性产生何种影响？
• RQ5 结合高置信度分类与类别消除的混合系统，能否实现比标准分类器更高的整体准确率？

主要发现

• 50个FSM神经网络组成的委员会在测试集上实现了81%的分类准确率，其中仅有4.3%的案例被高置信度分类（概率 >0.9）但分类错误。
• 采用宽松的成功标准——即若真实类别位于前两名最可能的输出中，则判定为正确——准确率提升至约90%。
• 使用改进误差函数训练的‘超系统’，该函数偏好真实类别位于前两名输出中，在测试集上实现了92%的准确率。
• 当对第二高输出应用 $ p \geq 0.2 $ 的阈值时，准确率下降至87%，表明对置信度阈值敏感。
• 该消除方法使约80%的测试案例实现可靠诊断，其余一半不确定案例被分配至剩余两类的混合体。
• 该方法显著优于标准分类器如朴素贝叶斯、k近邻和基于规则的系统，后者在相同数据集上的准确率均低于55%。