[论文解读] Perceptual Visual Interactive Learning

Shenglan Liu, Xiang Liu+5 more|arXiv (Cornell University)|Oct 25, 2018

Image Retrieval and Classification Techniques参考文献 45被引用 6

一句话总结

本文提出了一种新型框架——感知视觉交互学习（Perceptual Visual Interactive Learning, PVIL），该框架利用人类感知与认知能力，在格拉斯特定律（Gestalt principle）和多维降维的引导下，提升小样本量标注（SLQ）机器学习任务中的标注准确率与效率。PVIL在真实数据集上使用其生成的标注，实现了高达97.5%的分类准确率，接近真实标签的性能表现。

ABSTRACT

Supervised learning methods are widely used in machine learning. However, the lack of labels in existing data limits the application of these technologies. Visual interactive learning (VIL) compared with computers can avoid semantic gap, and solve the labeling problem of small label quantity (SLQ) samples in a groundbreaking way. In order to fully understand the importance of VIL to the interaction process, we re-summarize the interactive learning related algorithms (e.g. clustering, classification, retrieval etc.) from the perspective of VIL. Note that, perception and cognition are two main visual processes of VIL. On this basis, we propose a perceptual visual interactive learning (PVIL) framework, which adopts gestalt principle to design interaction strategy and multi-dimensionality reduction (MDR) to optimize the process of visualization. The advantage of PVIL framework is that it combines computer's sensitivity of detailed features and human's overall understanding of global tasks. Experimental results validate that the framework is superior to traditional computer labeling methods (such as label propagation) in both accuracy and efficiency, which achieves significant classification results on dense distribution and sparse classes dataset.

研究动机与目标

• 为解决小样本量（SLQ）机器学习中数据标注这一关键瓶颈，特别是针对深度学习模型的标注问题。
• 缩小人类感知与机器理解在视觉数据标注中的语义鸿沟。
• 开发一种更高效、更准确的标注框架，整合人类感知优势与计算精度。
• 验证基于感知的标注方法在准确率与效率方面相较于传统标签传播方法的优越性。

提出的方法

• PVIL框架采用格拉斯特定律设计交互策略，模拟人类对视觉数据的整体性感知。
• 应用多维降维（MDR）优化数据可视化，使复杂数据结构的聚类与标注更加清晰。
• 人类用户基于感知分组与整体结构进行交互式标注，避免耗时的成对相似性计算。
• 该方法结合计算机对细粒度特征的敏感性与人类对整体模式及流形结构的感知能力。
• 通过在PVIL生成的标签与真实标签上训练的标准分类器（如CNN、GBDT）对标注结果进行评估。

实验结果

研究问题

• RQ1 如何利用人类视觉中的感知与认知过程，提升小样本量学习中标签标注的效率与准确率？
• RQ2 相较于传统的基于度量的方法，格拉斯特定律在视觉交互标注中的有效性在多大程度上得到增强？
• RQ3 PVIL是否能在降低计算成本的同时，实现接近真实标签的分类性能，相较于标签传播方法？
• RQ4 MDR与感知交互的结合，对密集与稀疏类别分布下的标注过程产生何种影响？

主要发现

• 在MNIST数据集上，使用LeNet CNN模型，PVIL利用其自身生成的标签实现了97.5%的分类准确率，接近真实标签的99.01%准确率。
• 该框架将每位用户组的平均标注时间缩短至494.1秒，显著优于标签传播方法在相同数据集上所消耗的1776.1秒。
• PVIL标注中的假阴性主要集中在流形边界区域，表明即使对人类感知而言，孤立或模糊样本仍具挑战性。
• PVIL在稀疏类别分布与高维数据场景下，相较于标签传播方法展现出更优的性能表现。
• 基于格拉斯特定律的交互与MDR的结合，使系统在仅保留99.5%未标注数据的情况下，仍能保持96.5%的高标注准确率，同时最小化冗余相似性计算。