[论文解读] Neuro-Symbolic Learning: Principles and Applications in Ophthalmology

Muhammad Hassan, Haifei Guan+25 more|arXiv (Cornell University)|Jul 31, 2022

Retinal Imaging and Analysis被引用 7

一句话总结

本文提出神经符号学习（NeSyL）作为一种混合方法，将符号推理与深度神经网络相结合，以提升人工智能在眼科领域中的可解释性、可说明性和鲁棒性。通过将领域知识和常识嵌入神经架构，NeSyL在视网膜疾病分类、分割和预测方面实现了卓越性能，展现出最先进成果，例如在白内障分类中AUC最高达0.975，且优于纯深度学习模型的准确率。

ABSTRACT

Neural networks have been rapidly expanding in recent years, with novel strategies and applications. However, challenges such as interpretability, explainability, robustness, safety, trust, and sensibility remain unsolved in neural network technologies, despite the fact that they will unavoidably be addressed for critical applications. Attempts have been made to overcome the challenges in neural network computing by representing and embedding domain knowledge in terms of symbolic representations. Thus, the neuro-symbolic learning (NeSyL) notion emerged, which incorporates aspects of symbolic representation and bringing common sense into neural networks (NeSyL). In domains where interpretability, reasoning, and explainability are crucial, such as video and image captioning, question-answering and reasoning, health informatics, and genomics, NeSyL has shown promising outcomes. This review presents a comprehensive survey on the state-of-the-art NeSyL approaches, their principles, advances in machine and deep learning algorithms, applications such as opthalmology, and most importantly, future perspectives of this emerging field.

研究动机与目标

• 为解决深度学习在医疗人工智能中缺乏可解释性、鲁棒性和可信度等局限性，通过将符号知识整合到神经网络中。
• 全面综述神经符号学习（NeSyL）的原理、机器学习与深度学习的最新进展，及其在眼科中的应用。
• 展示NeSyL如何通过增强推理能力、可说明性和安全性，提升眼科诊断等关键领域中的临床AI系统性能。
• 探讨NeSyL在医疗保健、自主系统等高风险环境中的未来发展方向。

提出的方法

• 本文提出一种混合框架，将符号表示（如规则、知识图谱）与深度神经网络结合，以在学习过程中嵌入特定领域的知识。
• 采用多模型集成网络（如基于残差注意力的模型），以提升眼科影像中的特征提取与分类性能。
• 该方法结合迁移学习与注意力机制，以提升在视网膜图像分类任务（包括糖尿病性视网膜病变和青光眼）中的表现。
• 应用符号推理以解释模型决策，通过逻辑规则和结构化知识实现预测的可解释性。
• 该框架支持带有符号监督的端到端学习，实现神经与符号组件的联合优化。
• 应用涵盖使用公开眼科数据集和ResNet、UNet及Transformer等先进架构的图像分类、分割、目标检测与疾病预测。

实验结果

研究问题

• RQ1 如何有效将符号知识整合到深度神经网络中，以提升医疗人工智能中的可解释性与鲁棒性？
• RQ2 神经符号学习（NeSyL）的关键原则与架构组件是什么，使其能够在视觉任务中实现推理与可说明性？
• RQ3 NeSyL在眼科疾病分类、分割与预测中为何优于纯深度学习模型？
• RQ4 在临床环境中部署NeSyL时面临哪些关键挑战，又该如何应对？
• RQ5 NeSyL在医疗保健与自主系统中具有哪些可行的未来应用与研究方向？

主要发现

• 基于残差注意力的多模型集成方法在B型超声图像中对白内障分类的AUC达到0.975，优于以往方法。
• 针对青光眼检测的两阶段深度学习方法AUC达到0.874，较先前最先进结果提升2.7%。
• 在Kaggle数据集上，使用CNN的迁移学习在糖尿病性视网膜病变分类中达到95.68%的准确率与0.97的AUC。
• 基于NeSyL的模型通过将预测与符号规则关联，显著提升了可解释性，增强了信任度与临床可用性。
• 将符号推理与深度学习结合，提升了复杂眼科影像任务中的泛化能力与鲁棒性。
• NeSyL在可解释、可靠的AI支持下，展现出在自主系统、安全监控与临床决策支持中未来应用的强劲潜力。