[论文解读] Sharp Analysis of Learning with Discrete Losses

Alex Nowak-Vila, Francis Bach+1 more|arXiv (Cornell University)|Oct 16, 2018

Machine Learning and Algorithms被引用 7

一句话总结

本文对具有离散损失（如多标签分类和排序）的结构化预测的最小二乘框架进行了精确的理论分析。通过引入一种推广Tsybakov条件的边界条件，建立了显式依赖于标签数量和噪声水平的快速、自适应学习率，优于现有通用框架，实现了更紧致、可解释的泛化界，并在真实数据集上展示了优越的实验性能。

ABSTRACT

The problem of devising learning strategies for discrete losses (e.g., multilabeling, ranking) is currently addressed with methods and theoretical analyses ad-hoc for each loss. In this paper we study a least-squares framework to systematically design learning algorithms for discrete losses, with quantitative characterizations in terms of statistical and computational complexity. In particular we improve existing results by providing explicit dependence on the number of labels for a wide class of losses and faster learning rates in conditions of low-noise. Theoretical results are complemented with experiments on real datasets, showing the effectiveness of the proposed general approach.

研究动机与目标

• 系统分析最小二乘框架在离散结构化预测损失下的统计复杂度与计算复杂度。
• 为离散损失提出一种边界条件，推广Tsybakov条件，并实现快速学习率。
• 提供显式、可解释的学习率上界，其依赖于标签数量和噪声水平。
• 通过一致性和实验性能的对比，证明该框架在一致性与性能上优于SSVMs和CRFs等现有方法。
• 通过与凸校准维数的联系，建立该框架在维度上的理论最优性。

提出的方法

• 该方法采用二次代理（QS）估计器，定义为在损失函数低维分解上的经验风险最小化解。
• 采用SELF（结构编码损失函数）分解，将损失表示为涉及标签空间低秩表示的内积形式。
• 该框架利用一种推广Tsybakov条件的边界条件，适用于离散损失，使在低噪声假设下实现快速学习率成为可能。
• 理论分析推导出超出风险界，其显式依赖于标签数量、样本量和噪声水平，且常数具有可解释性，通常达到最优。
• 通过基于核的方法实现该方法，利用从数据中导出的显式权重，避免为每种损失函数设计任意代理函数。
• 在真实世界的多标签和排序数据集上进行实证验证，将QS估计器与SSVMs及其他基线方法进行比较。

实验结果

研究问题

• RQ1 标签数量如何影响离散损失学习的统计与计算复杂度？
• RQ2 统一的最小二乘框架能否在0-1损失、汉明损失和NDCG等多样化离散损失上实现快速、自适应的学习率？
• RQ3 标签空间结构与噪声水平对结构化预测中泛化性能的影响如何？
• RQ4 所提出的离散损失边界条件与Tsybakov等现有条件相比，在自适应性与紧致性方面表现如何？
• RQ5 与先前工作相比，QS框架在维度与常数因子方面在多大程度上达到最优？

主要发现

• 论文在低噪声条件下建立了形式为O(n^{-1/2})的学习率，快于先前工作中标准的O(n^{-1/4})速率。
• 该框架在超出风险界中实现了显式、可解释的常数，0-1损失下对标签数m的依赖为O(2^{m/2})，优于先前工作的O(2^m)。
• 对于分块0-1损失和汉明损失，常数分别表现为O(√b)和O(1)，其中b为分块大小，表明其依赖关系比先前方法更紧密。
• 所提出的边界条件使学习率能够自适应地随噪声降低而提升，将Tsybakov条件推广至离散结构化输出。
• 实验结果表明，QS估计器在多标签和排序任务中均优于SSVMs及其他基线方法，尤其在一致性和F-score方面表现更优。
• 理论分析通过与凸校准维数的联系，证实了QS框架在维度上的最优性，并建立了紧致的下界。