[论文解读] Sharkzor: Interactive Deep Learning for Image Triage, Sort and Summary

Meg Pirrung, Nathan Hilliard+5 more|arXiv (Cornell University)|Feb 14, 2018

Advanced Neural Network Applications参考文献 13被引用 6

一句话总结

Sharkzor 是一个基于网络的交互式深度学习系统，通过用户自由拖拽和分组来嵌入其心理模型，实现对大规模图像集合的筛选、组织与摘要。它利用迁移学习、少样本学习和 t-SNE 降维技术，根据用户交互动态调整图像位置并自动分组，在仅需极少标注样本的情况下实现高精度，同时通过置信度可视化和热力图使模型决策可解释。

ABSTRACT

Sharkzor is a web application for machine-learning assisted image sort and summary. Deep learning algorithms are leveraged to infer, augment, and automate the user's mental model. Initially, images uploaded by the user are spread out on a canvas. The user then interacts with the images to impute their mental model into the application's algorithmic underpinnings. Methods of interaction within Sharkzor's user interface and user experience support three primary user tasks; triage, organize and automate. The user triages the large pile of overlapping images by moving images of interest into proximity. The user then organizes said images into meaningful groups. After interacting with the images and groups, deep learning helps to automate the user's interactions. The loop of interaction, automation, and response by the user allows the system to quickly make sense of large amounts of data.

研究动机与目标

• 开发一种人机协同系统，支持用户根据其个人心理模型对大规模图像集合进行组织。
• 通过利用少样本学习和迁移学习快速适应用户定义的分组，减轻手动图像标注的负担。
• 通过可视化置信度分数并提供对自动分组决策的反馈，使深度学习模型的决策可解释。
• 支持灵活、非预设的工作流程，让用户控制机器学习在图像组织过程中何时以及如何介入。
• 通过结合预聚类与用户交互的主动学习，支持可扩展的图像筛选与摘要。

提出的方法

• 预聚类使用深度自编码器（在 ImageNet 上预训练）将图像压缩至 256 维，随后通过主成分分析（PCA）降至 8 维，再经 t-SNE 生成二维嵌入，用于初始画布布局。
• 少样本学习通过孪生网络实现，计算测试图像属于用户定义组别的概率，支持无需固定类别数限制的动态多组分类。
• 系统通过从预训练的 ResNet-50 模型中提取特征来实现迁移学习，以初始化所有深度学习组件，确保稳健的特征表示。
• 当模型对将图像分配至某一群组的置信度超过阈值时，触发自动分组，反馈回路允许用户优化分组结果。
• 通过置信度可视化和热力图叠加，使模型决策可解释，向用户展示模型在何处存在不确定性或高度自信。
• 系统采用模块化微服务架构，支持图像处理和学习任务的可扩展部署。

实验结果

研究问题

• RQ1 深度学习系统如何在无需大量标注数据的情况下，有效学习并适应用户个人的图像组织心理模型？
• RQ2 哪些交互设计模式能够使用户高效地向机器学习系统传达复杂且任意的图像分组？
• RQ3 如何可视化模型置信度与不确定性，以增强用户对自动化图像排序决策的信任与理解？
• RQ4 少样本学习与迁移学习在与降维技术结合时，能在多大程度上实现快速、可扩展的图像筛选与摘要？
• RQ5 人机协同系统是否能减少对人工标注的依赖，同时在图像组织任务中保持高精度？

主要发现

• Sharkzor 通过利用少样本学习，仅需最少两幅图像的初始输入，即可推断分组关系，无需预定义类别标签，实现用户对图像的高效组织。
• 通过采用多阶段处理管道（自编码器压缩后接 PCA），系统降低了高维图像数据在 t-SNE 上的计算负担，实现了高效的二维嵌入，用于初始图像布局。
• 自动分组功能通过基于与已有用户定义组的相似性建议新成员，显著提升效率，置信度阈值可防止错误分配。
• 置信度可视化与热力图叠加为用户提供实时洞察，增强模型决策的透明度，并支持用户纠正或优化系统行为。
• 系统在极少标注样本下实现高性能，证明用户提供的心理模型可被深度学习模型有效编码并泛化。
• 通过将机器学习增强功能无缝整合到用户的自然工作流程中，Sharkzor 减少了对显式训练的需求，支持灵活、非线性的任务执行。