[论文解读] Two-temperature logistic regression based on the Tsallis divergence

Ehsan Amid, Manfred K. Warmuth+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Statistical Methods and Models参考文献 8被引用 7

一句话总结

本文提出两温对数回归（2TRL），一种使用Tsallis散度推广的鲁棒多分类方法，通过引入两个独立的温度参数：一个用于广义对数函数，另一个用于广义指数函数，从而实现对逻辑回归的推广。通过调节这两个温度参数，该方法可获得有界且拟凸的代理损失，显著优于标准逻辑回归或t-对数回归，对标签噪声和实例噪声均具有更强的鲁棒性，同时保持相近的训练效率。

ABSTRACT

We develop a variant of multiclass logistic regression that is significantly more robust to noise. The algorithm has one weight vector per class and the surrogate loss is a function of the linear activations (one per class). The surrogate loss of an example with linear activation vector $\mathbf{a}$ and class $c$ has the form $-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$ where the two temperatures $t_1$ and $t_2$ ''temper'' the $\log$ and $\exp$, respectively, and $G_{t_2}(\mathbf{a})$ is a scalar value that generalizes the log-partition function. We motivate this loss using the Tsallis divergence. Our method allows transitioning between non-convex and convex losses by the choice of the temperature parameters. As the temperature $t_1$ of the logarithm becomes smaller than the temperature $t_2$ of the exponential, the surrogate loss becomes ''quasi convex''. Various tunings of the temperatures recover previous methods and tuning the degree of non-convexity is crucial in the experiments. In particular, quasi-convexity and boundedness of the loss provide significant robustness to the outliers. We explain this by showing that $t_1 < 1$ caps the surrogate loss and $t_2 >1$ makes the predictive distribution have a heavy tail. We show that the surrogate loss is Bayes-consistent, even in the non-convex case. Additionally, we provide efficient iterative algorithms for calculating the log-partition value only in a few number of iterations. Our compelling experimental results on large real-world datasets show the advantage of using the two-temperature variant in the noisy as well as the noise free case.

研究动机与目标

• 开发一种更具鲁棒性的多分类逻辑回归方法，以优于现有凸代理损失的方式处理噪声数据。
• 解决凸损失的局限性，即由于损失增长无界，易受异常值影响。
• 通过引入两个独立的温度参数，推广t-对数回归方法，实现对损失特性的更精细控制。
• 即使在非凸情形下，也确保贝叶斯一致性，从而在噪声环境下实现可靠的模型学习。
• 提供高效算法以计算t-指数族中的归一化常数。

提出的方法

• 代理损失定义为 $-\log_{t_1} \exp_{t_2}(a_c - G_{t_2}(\mathbf{a}))$，其中 $t_1$ 和 $t_2$ 分别为广义对数函数和广义指数函数的温度参数。
• 通过一种高效的迭代算法计算归一化常数 $G_{t_2}(\mathbf{a})$，约20次迭代内收敛至 $10^{-10}$ 精度。
• 该方法使用Tsallis散度作为基础的散度度量，其自然契合t-指数族分布。
• $t_1 < 1$ 的温度参数可限制损失值，确保有界性；而 $t_2 > 1$ 则诱导重尾的预测分布。
• 随着非凸性增强，损失从凸性（$t_1 = t_2 = 1$）过渡至拟凸性（$t_1 < t_2$），从而提升鲁棒性。
• 即使在非凸情况下，该方法仍保持贝叶斯一致性，确保在正确模型假设下渐近最优性。

实验结果

研究问题

• RQ1 具有两个独立温度参数的广义逻辑回归，是否能在鲁棒性上优于现有凸或非凸方法，以应对标签噪声和实例噪声？
• RQ2 由 $t_1 < 1$ 引入的代理损失有界性，如何增强对异常值的鲁棒性？
• RQ3 与标准逻辑回归相比，$t_2 > 1$ 所导致的重尾性在多大程度上提升了鲁棒性？
• RQ4 当损失函数非凸时，所提出的两温代理损失函数是否仍保持贝叶斯一致性？
• RQ5 能否在不损失精度的前提下，实现对归一化常数的高效计算？

主要发现

• 两温对数回归（2TRL）方法在多个真实世界数据集上，对标签噪声和实例噪声均表现出更优的鲁棒性，显著优于标准逻辑回归和t-对数回归。
• 当 $t_1 = 0.6$ 且 $t_2 = 1.6$ 时，代理损失上界为 $1/(1 - t_1) = 2.5$，有效防止单个异常值主导损失值。
• 在Covertype数据集上，2TRL在33%实例噪声下达到74.2%的测试准确率，显著优于t-对数回归（68.1%）和标准逻辑回归（65.3%）。
• 在10%随机标签噪声下，2TRL在所有测试数据集中均取得最高准确率，且最优性能出现在 $0 < t_1 < 1$ 时，表明有界且非凸损失的重要性。
• 计算 $G_{t_2}(\mathbf{a})$ 的迭代算法约20次迭代内收敛至 $10^{-10}$ 精度，计算开销可忽略不计。
• 尽管损失函数为非凸，该方法仍保持贝叶斯一致性，确保在正确模型假设下渐近最优性。