[论文解读] Unsupervised Semantic Aggregation and Deformable Template Matching for Semi-Supervised Learning

Tao Han, Junyu Gao+2 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出USADTM，一种半监督学习框架，通过三重互信息损失实现无监督语义聚合，为无标签数据生成伪标签，并利用可变形模板匹配与动态特征池对这些标签进行精炼。该方法在仅使用40个标注样本的情况下，于CIFAR-10上实现了90.46%的最先进准确率。

ABSTRACT

Unlabeled data learning has attracted considerable attention recently. However, it is still elusive to extract the expected high-level semantic feature with mere unsupervised learning. In the meantime, semi-supervised learning (SSL) demonstrates a promising future in leveraging few samples. In this paper, we combine both to propose an Unsupervised Semantic Aggregation and Deformable Template Matching (USADTM) framework for SSL, which strives to improve the classification performance with few labeled data and then reduce the cost in data annotating. Specifically, unsupervised semantic aggregation based on Triplet Mutual Information (T-MI) loss is explored to generate semantic labels for unlabeled data. Then the semantic labels are aligned to the actual class by the supervision of labeled data. Furthermore, a feature pool that stores the labeled samples is dynamically updated to assign proxy labels for unlabeled data, which are used as targets for cross-entropy minimization. Extensive experiments and analysis across four standard semi-supervised learning benchmarks validate that USADTM achieves top performance (e.g., 90.46$\%$ accuracy on CIFAR-10 with 40 labels and 95.20$\%$ accuracy with 250 labels). The code is released at this https URL.

研究动机与目标

• 通过极少的标注数据提升半监督学习性能，以降低标注成本。
• 解决利用无监督方法从无标签数据中提取高层语义特征的挑战。
• 利用有限监督将无标签数据的伪标签预测与真实类别标签对齐。
• 动态维护标注样本的特征池，以实现有效的代理标签分配。

提出的方法

• 使用三重互信息（T-MI）损失进行无监督语义聚合，以从无标签数据中学习有意义的表征。
• 基于聚合的语义特征为无标签样本生成伪标签。
• 动态特征池存储标注样本的嵌入表示，并通过迭代方式更新，作为参考模板。
• 可变形模板匹配将无标签数据的伪标签与特征池中最相似的原型对齐。
• 使用对齐后的代理标签作为目标，应用交叉熵最小化以优化模型预测。
• 该框架整合了无监督表征学习与有监督精炼，以提升分类准确率。

实验结果

研究问题

• RQ1 使用T-MI损失进行无监督语义聚合是否能有效为半监督学习中的无标签数据生成高质量伪标签？
• RQ2 结合可变形模板匹配的动态特征池如何提升标签对齐效果与模型泛化能力？
• RQ3 所提方法在保持高准确率的前提下，能在多大程度上减少所需标注样本的数量？
• RQ4 无监督与有监督组件的集成方式与现有SSL方法相比有何优势？

主要发现

• USADTM在仅使用40个标注样本的情况下，于CIFAR-10上实现了90.46%的测试准确率，优于现有方法。
• 当使用250个标注样本时，模型在CIFAR-10上达到95.20%的准确率，展现出在低样本设置下的强大性能。
• 使用三重互信息损失可使无标签数据的语义表征学习更加鲁棒。
• 结合可变形模板匹配的动态特征池显著提升了伪标签质量与模型收敛性。
• 该框架在四个标准基准上显著降低了标注成本，同时保持了最先进性能。
• 消融实验证实了无监督聚合模块与精炼模块在整体框架中的有效性。