[论文解读] Stability Analysis and Learning Bounds for Transductive Regression Algorithms

Corinna Cortes, Mehryar Mohri+2 more|ArXiv.org|Apr 5, 2009

Machine Learning and Algorithms参考文献 16被引用 9

一句话总结

本文提出了基于算法稳定性的归纳回归算法泛化界，相较于传统的复杂度度量方法，推导出更紧致、算法特异的泛化界。该文分析了局部回归、无约束及有约束正则化方法的稳定性，表明许多广泛使用的算法具有不稳定性，并通过实验表明，稳定性界能够有效指导模型选择，尤其适用于局部归纳中的邻域半径选择。

ABSTRACT

This paper uses the notion of algorithmic stability to derive novel generalization bounds for several families of transductive regression algorithms, both by using convexity and closed-form solutions. Our analysis helps compare the stability of these algorithms. It also shows that a number of widely used transductive regression algorithms are in fact unstable. Finally, it reports the results of experiments with local transductive regression demonstrating the benefit of our stability bounds for model selection, for one of the algorithms, in particular for determining the radius of the local neighborhood used by the algorithm.

研究动机与目标

• 通过算法稳定性构建归纳回归的算法特异性泛化界，以超越VC维等一般复杂度度量的局限。
• 分析关键归纳回归算法的稳定性，包括局部回归、无约束及有约束正则化方法。
• 识别广泛使用算法中的不稳定性，并为改进设计提供理论依据。
• 通过实验证明稳定性界在模型选择中的实际效用，尤其针对局部归纳中邻域半径等超参数的选择。

提出的方法

• 推导了无放回抽样的浓度界，将McDiarmid不等式推广至归纳设置中使用。
• 引入代价稳定性和评分稳定性概念，以分析算法在数据扰动下的行为。
• 利用凸性与闭式解推导局部归纳回归（LTR）算法的稳定性系数。
• 对具有闭式解的无约束正则化算法，采用基于评分的稳定性分析。
• 对图正则化算法（包括图拉普拉斯）应用有约束正则化分析，推导出改进的稳定性界。
• 在真实数据集（波士顿房价、飞机起落架、电梯）上进行实验验证，评估基于推导边界的模型选择性能。

实验结果

研究问题

• RQ1 如何利用算法稳定性，相较于基于VC维的界，推导出更紧致的归纳回归泛化界？
• RQ2 哪些类别的归纳回归算法表现出稳定行为，哪些本质上不稳定？
• RQ3 基于稳定性的界能否有效指导模型选择，尤其是局部回归中邻域半径等超参数的选择？
• RQ4 在归纳设置中，无约束正则化算法的稳定性与有约束正则化算法相比如何？
• RQ5 无放回抽样对归纳学习中的浓度与稳定性有何影响？

主要发现

• 本文证明了一个新的无放回抽样浓度界，其形式更简洁且略强于先前工作。
• 许多广泛使用的归纳回归算法（包括若干无约束正则化方法）在所提出的稳定性准则下被证明具有不稳定性。
• 对于局部归纳回归（LTR），稳定性系数 β_loc 被界定为 O(1/m(r))，其中 m(r) 为半径 r 内的点数，从而支持基于半径的模型选择。
• 对于基于高斯核的 LTR，稳定性系数满足 β_loc ≤ 4M / (m(r) e^{-2r²/σ²})，显示出对核带宽的指数依赖性。
• 在波士顿房价、飞机起落架和电梯数据集上的实验表明，最小化基于稳定性的界可使测试均方误差接近最优半径，验证了该界在模型选择中的实用性。
• 有约束图拉普拉斯正则化算法表现出优于无约束对应方法的稳定性特性，支持其在实际应用中的使用。