[论文解读] On Interpretability of Artificial Neural Networks: A Survey

Fenglei Fan, Jinjun Xiong+2 more|arXiv (Cornell University)|Jan 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 202被引用 46

一句话总结

本综述提供了神经网络可解释性的综合分类，对最近的研究进行综述，讨论医学应用，并概述未来方向（例如模糊逻辑和脑科学）。

ABSTRACT

Deep learning as represented by the artificial deep neural networks (DNNs) has achieved great success in many important areas that deal with text, images, videos, graphs, and so on. However, the black-box nature of DNNs has become one of the primary obstacles for their wide acceptance in mission-critical applications such as medical diagnosis and therapy. Due to the huge potential of deep learning, interpreting neural networks has recently attracted much research attention. In this paper, based on our comprehensive taxonomy, we systematically review recent studies in understanding the mechanism of neural networks, describe applications of interpretability especially in medicine, and discuss future directions of interpretability research, such as in relation to fuzzy logic and brain science.

研究动机与目标

• 提出一个全面的可解释神经网络及其方法的分类法。
• 系统性地回顾最近的研究，以理解神经网络的机制。
• 描述并总结可解释性在医学中的应用。
• 讨论未来的研究方向和跨学科联系（例如模糊逻辑、脑科学）。

提出的方法

• 构建一个关于神经网络可解释性的全面分类法。
• 系统性回顾最近的研究，探讨神经网络如何被理解。
• 描述可解释性技术在医学中的应用。
• 讨论潜在的未来方向以及如模糊逻辑和脑科学等跨学科联系。

实验结果

研究问题

• RQ1 神经网络中哪些机制或表示可以被解释或说明？
• RQ2 可解释性方法在医学情境中的应用及观察到的益处是什么？
• RQ3 为指导未来可解释性研究的关键差距、挑战与机遇是什么？
• RQ4 哪些潜在的跨学科联系（如模糊逻辑、脑科学）可以推动可解释性的发展？

主要发现

• 为人工神经网络的可解释性提供全面的分类法。
• 对理解神经网络机制的最近研究进行了总结与综合。
• 讨论可解释性的医学应用及影响。
• 概述未来方向，包括与模糊逻辑和脑科学的联系。