[论文解读] The Self-Optimal-Transport Feature Transform

Daniel Shalam, Simon Korman|arXiv (Cornell University)|Apr 6, 2022

Video Surveillance and Tracking Methods被引用 13

一句话总结

本文提出自洽最优传输（Self-Optimal-Transport, SOT）特征变换，一种可微方法，通过最优传输重新加权特征，以增强类内紧凑性和类间分离性。在少样本学习和聚类中应用SOT于原型特征时，其在miniImageNet、Market-1501和合成球面聚类基准上均取得最先进性能，消融研究显示其对熵正则化和Sinkhorn迭代具有鲁棒性。

ABSTRACT

The Self-Optimal-Transport (SOT) feature transform is designed to upgrade the set of features of a data instance to facilitate downstream matching or grouping related tasks. The transformed set encodes a rich representation of high order relations between the instance features. Distances between transformed features capture their direct original similarity and their third party agreement regarding similarity to other features in the set. A particular min-cost-max-flow fractional matching problem, whose entropy regularized version can be approximated by an optimal transport (OT) optimization, results in our transductive transform which is efficient, differentiable, equivariant, parameterless and probabilistically interpretable. Empirically, the transform is highly effective and flexible in its use, consistently improving networks it is inserted into, in a variety of tasks and training schemes. We demonstrate its merits through the problem of unsupervised clustering and its efficiency and wide applicability for few-shot-classification, with state-of-the-art results, and large-scale person re-identification.

研究动机与目标

• 通过增强类内紧凑性和类间分离性，提升少样本学习与无监督聚类中的特征表示质量。
• 开发一种基于最优传输的可微、端到端可训练特征变换方法，用于原型特征。
• 在包括miniImageNet、Market-1501和合成球面聚类在内的多样化基准上评估SOT的有效性。
• 分析超参数敏感性，特别是熵正则化参数λ和Sinkhorn迭代次数在少样本学习与重识别设置下的影响。
• 在下游分类与聚类任务中，证明SOT优于自注意力机制与基线方法。

提出的方法

• SOT变换使用基于Sinkhorn-Knopp算法与熵正则化的可微最优传输（OT）层对特征进行重加权。
• 在少样本学习中，将OT应用于原型特征，通过最小化类内距离并最大化类间分离来实现特征变换。
• 通过可学习的熵参数λ控制传输计划的平滑度，消融研究识别出最优取值。
• 在聚类任务中，SOT应用于d维球面上的特征，以评估类内与类间距离的分离效果。
• 将该框架集成至ProtoNet、PTMAP和Sill-Net等模型中，以SOT替换或增强其特征聚合模块。
• 消融研究分析了Sinkhorn迭代次数与λ对多个数据集和配置下性能的影响。

实验结果

研究问题

• RQ1 Sinkhorn迭代次数如何影响SOT变换的性能与收敛性？
• RQ2 在少样本分类与行人重识别任务中，熵正则化参数λ的最优值是多少？
• RQ3 在高维球面上的受控合成聚类实验中，SOT在多大程度上提升了特征分离效果？
• RQ4 在下游任务中，SOT与自注意力机制在性能与稳定性方面有何对比？
• RQ5 SOT是否能在包括miniImageNet与Market-1501在内的多样化架构与数据集上持续提升性能？

主要发现

• 仅使用4次Sinkhorn迭代即可在SOT变换中实现近似最优性能，超过8次迭代后性能提升微乎其微，表明其收敛迅速。
• 在少样本分类中，λ = 0.1 提供了良好的权衡，但在Market-1501 Re-ID基准上，λ = 0.25 表现更优。
• 在合成球面聚类任务中，SOT显著提升了类内与类间距离之间的分离度，尤其在高噪声与高维条件下表现突出。
• 在miniImageNet的少样本分类任务中，使用ResNet-12时，SOT使ProtoNet在5-way-1-shot与5-way-5-shot设置下分别提升1.2–2.3个百分点。
• 采用更新后的λ = 0.25，SOT在Market-1501 Re-ID上取得新的最先进结果，优于先前方法（包括PTMAP与Sill-Net）。
• SOT一致提升了聚类指标（如NMI与ARI），其中NMI的增益强于准确率。