[论文解读] Multiple Instance Fuzzy Inference Neural Networks

Amine B. Khalifa, Hichem Frigui|arXiv (Cornell University)|Oct 17, 2016

Smart Agriculture and AI参考文献 36被引用 4

一句话总结

本文提出了一种新型混合模型——多实例模糊推理神经网络（MI-ANFIS），该模型通过处理标签模糊的实例集合（bags）将自适应神经模糊推理系统（ANFIS）扩展至多实例学习（MIL）场景。该方法引入了MI-Sugeno模糊推理以实现基于集合的推理，并采用反向传播算法学习前提与结论参数，在MIL基准数据集及利用探地雷达进行地雷检测的任务中表现出色。

ABSTRACT

Fuzzy logic is a powerful tool to model knowledge uncertainty, measurements imprecision, and vagueness. However, there is another type of vagueness that arises when data have multiple forms of expression that fuzzy logic does not address quite well. This is the case for multiple instance learning problems (MIL). In MIL, an object is represented by a collection of instances, called a bag. A bag is labeled negative if all of its instances are negative, and positive if at least one of its instances is positive. Positive bags encode ambiguity since the instances themselves are not labeled. In this paper, we introduce fuzzy inference systems and neural networks designed to handle bags of instances as input and capable of learning from ambiguously labeled data. First, we introduce the Multiple Instance Sugeno style fuzzy inference (MI-Sugeno) that extends the standard Sugeno style inference to handle reasoning with multiple instances. Second, we use MI-Sugeno to define and develop Multiple Instance Adaptive Neuro Fuzzy Inference System (MI-ANFIS). We expand the architecture of the standard ANFIS to allow reasoning with bags and derive a learning algorithm using backpropagation to identify the premise and consequent parameters of the network. The proposed inference system is tested and validated using synthetic and benchmark datasets suitable for MIL problems. We also apply the proposed MI-ANFIS to fuse the output of multiple discrimination algorithms for the purpose of landmine detection using Ground Penetrating Radar.

研究动机与目标

• 解决在多实例学习（MIL）中，个体实例未被标注而仅提供集合级标签的模糊标签数据学习挑战。
• 将传统模糊推理系统扩展至对实例集合（bags）而非单个数据点进行推理。
• 开发一种神经模糊架构，能够通过监督式反向传播从MIL数据中学习。
• 在合成数据集与真实世界MIL数据集（包括利用探地雷达进行的地雷检测）上验证该模型。
• 通过统一的模糊推理框架实现多个判别算法的有效融合，以提升检测性能。

提出的方法

• 提出多实例Sugeno风格模糊推理（MI-Sugeno），将标准Sugeno模糊推理推广至作用于实例集合的场景。
• 设计一种新型网络架构——多实例ANFIS（MI-ANFIS），扩展标准ANFIS以接受集合作为输入，并从模糊的集合级标签中学习。
• 实现一种基于反向传播的学习算法，联合优化网络中的前提（模糊隶属度）与结论（输出）参数。
• 采用类似Softmax的聚合函数，基于实例级模糊规则激活计算集合级输出。
• 对输入特征使用高斯隶属度函数，并推导出所有网络参数（包括模糊集的均值c_kj与标准差σ_kj）的梯度更新。
• 将模型集成至多分类器融合框架中，用于地雷检测，利用多个基于GPR的检测器输出的实例级结果。

实验结果

研究问题

• RQ1 能否有效将模糊推理系统扩展至对实例集合而非单个实例进行推理，以满足MIL的需求？
• RQ2 当仅提供集合级标签而实例级标签未知时，如何学习神经模糊系统的参数？
• RQ3 所提出的MI-ANFIS模型是否在标准基准数据集上优于现有MIL方法？
• RQ4 MI-ANFIS能否在真实世界应用（如地雷检测）中有效融合多个判别算法的输出？
• RQ5 该模型在MIL问题中因多态性与整体-部分关系引发的模糊性下是否具有鲁棒性？

主要发现

• 所提出的MI-ANFIS模型在多个合成与基准MIL数据集上表现优异，证明其能从模糊的集合级标签中有效泛化。
• 该模型能有效处理存在整体-部分模糊性（如图像级标注与局部区域特征）的数据，通过识别正样本集合中的相关实例实现。
• 在利用探地雷达进行地雷检测的应用中，MI-ANFIS通过模糊推理融合多个判别算法的输出，显著提升了检测准确率。
• 基于反向传播的学习算法成功优化了前提与结论参数，实现了神经模糊系统的端到端训练。
• 采用加权Softmax聚合函数增强了模型鲁棒性，使每个集合中更可信的实例级预测得到更强强调。
• 对参数c_kj与σ_kj推导出的梯度更新在数学上严谨，确保了训练过程中的稳定优化。