[论文解读] Ridge Regression, Hubness, and Zero-Shot Learning

Yutaro Shigeto, Ikumi Suzuki+3 more|arXiv (Cornell University)|Jul 3, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用 42

一句话总结

本文提出在零样本学习（ZSL）中反转传统的岭回归方向，通过将标签映射到样本空间而非将样本映射到标签空间，从而减少hubness（即少数标签在最近邻搜索中占据主导）现象。该方法显著抑制了hubness，并在双语词典抽取和图像标注任务中提升了预测准确率，优于标准岭回归和基于CCA的方法。

ABSTRACT

This paper discusses the effect of hubness in zero-shot learning, when ridge regression is used to find a mapping between the example space to the label space. Contrary to the existing approach, which attempts to find a mapping from the example space to the label space, we show that mapping labels into the example space is desirable to suppress the emergence of hubs in the subsequent nearest neighbor search step. Assuming a simple data model, we prove that the proposed approach indeed reduces hubness. This was verified empirically on the tasks of bilingual lexicon extraction and image labeling: hubness was reduced with both of these tasks and the accuracy was improved accordingly.

研究动机与目标

• 探究在使用岭回归将样本映射到标签时，零样本学习中hubness产生的根本原因。
• 解决hubness导致高维ZSL任务中大规模细粒度标签集的最近邻搜索性能下降的问题。
• 提出一种新颖的方法：将标签映射到样本空间，以抑制hubness并提升预测准确率。
• 在不同数据分布假设下，对hubness出现的理论机制进行分析，特别关注映射后样本与标签之间方差差异的影响。
• 在真实世界的ZSL任务中实证验证所提方法，证明其在降低hubness和提升准确率方面的有效性。

提出的方法

• 提出使用岭回归学习从标签空间到样本空间的映射（即 Y → X），反转标准的 X → Y 方向。
• 模型学习一个线性变换 W，使得 Y ≈ W^T X，其中 Y 表示标签向量，X 表示样本向量。
• 学习 W 后，通过 X_test → W^T X_test 将测试样本嵌入到标签空间，从而在标签空间中执行最近邻搜索。
• 采用多元正态分布数据模型进行理论分析，表明hub的形成源于映射后样本与标签之间分布的差异。
• 将所提方法与最近邻分类（k-NN）结合，用于预测未见样本的标签。
• 通过MAP、Acc_k和N_k偏度等指标，在双语词典抽取和图像标注任务上对方法进行实证评估，以量化hubness。

实验结果

研究问题

• RQ1 为何在使用岭回归将样本映射到标签时，零样本学习中会出现hubness？
• RQ2 映射后样本与标签之间的分布不匹配如何导致最近邻搜索中的hubness？
• RQ3 是否可以通过反转回归方向（从标签到样本）来抑制hubness并提升ZSL准确率？
• RQ4 在ZSL的岭回归背景下，数据方差与hubness之间的理论关系是什么？
• RQ5 所提方法是否在降低hubness和提升预测准确率方面优于标准岭回归和基于CCA的方法？

主要发现

• 所提方法Ridge_Y→X在双语词典抽取任务中取得了41.3%的Acc_1，显著优于标准Ridge_X→Y（23.75%）和基于CCA的方法。
• 在AwA图像标注数据集上，Ridge_Y→X达到了40.0%的Acc_1，与SOTA方法（如Akata等人提出的39.7%）相当，尽管使用的是更简单的线性模型。
• N_k偏度指标显示，Ridge_Y→X的hubness最低（0.08），表明其有效抑制了最近邻列表中主导标签的影响。
• Ridge_X→Y表现出较高的偏度（2.61），证实了强hub标签的存在，从而降低了预测性能。
• 在所有评估任务中，该方法在MAP和Acc_k指标上均持续优于所有基线模型，且差异具有统计显著性。
• 理论分析证实，hubness源于映射后样本与标签分布之间方差差异，而反转映射方向可有效缓解此偏差。