[论文解读] PAC-Bayes under potentially heavy tails

Matthew J. Holland|arXiv (Cornell University)|May 20, 2019

Machine Learning and Algorithms被引用 11

一句话总结

本文为重尾损失的學習推導出PAC-Bayesian泛化界，提出一種魯棒的Gibbs後驗估計器，僅在三階矩有界的條件下即可實現近乎次高斯的統計誤差。該方法利用PAC-Bayesian不等式構建計算高效的風險估計器，並在對數置信水準下獲得有限樣本的過剩風險界。

ABSTRACT

We derive PAC-Bayesian learning guarantees for heavy-tailed losses, and obtain a novel optimal Gibbs posterior which enjoys finite-sample excess risk bounds at logarithmic confidence. Our core technique itself makes use of PAC-Bayesian inequalities in order to derive a robust risk estimator, which by design is easy to compute. In particular, only assuming that the first three moments of the loss distribution are bounded, the learning algorithm derived from this estimator achieves nearly sub-Gaussian statistical error, up to the quality of the prior.

研究动机与目标

• 解決損失分佈具有重尾時標準次高斯假設失效的挑戰。
• 在僅損失前三階矩有界的條件下，發展仍有效的泛化保證。
• 設計一種計算上可處理的學習演算法，即使在重尾資料下亦能實現近乎最佳的統計誤差。
• 提出一種新型Gibbs後驗分佈，確保在對數置信水準下的有限樣本過剩風險界。
• 彙整重尾資料的魯棒性與PAC-Bayesian理論中緊密泛化界之間的差距。

提出的方法

• 僅基於有界的三階矩，推導出專為重尾損失分佈設計的新PAC-Bayesian不等式。
• 基於推導出的不等式構建一種魯棒風險估計器，其計算高效且在重尾下具有穩定性。
• 制定一種新的Gibbs後驗分佈，其最小化源自魯棒風險估計器的目標函數。
• 確保所得學習演算法在過剩風險方面實現近乎次高斯的收斂速率。
• 在PAC-Bayesian框架內運用集中不等式，以維持對數速率的有限樣本置信界。

实验结果

研究问题

• RQ1 PAC-Bayesian泛化界能否擴展至僅前三階矩有界的損失分佈？
• RQ2 如何構建一種在重尾資料下仍有效的魯棒風險估計器？
• RQ3 在重尾損失下，最佳Gibbs後驗的形式為何？其有限樣本性質為何？
• RQ4 在弱矩假設下，學習演算法的統計誤差在多大程度上可逼近次高斯速率？
• RQ5 所提出的方法能否在計算效率的同時維持緊密的置信界？

主要发现

• 所提出的Gibbs後驗即使在損失分佈僅有有界三階矩時，亦能實現近乎次高斯的統計誤差速率。
• 在對數置信水準下確立了有限樣本的過剩風險界，此為對標準置信率的重大改進。
• 魯棒風險估計器計算高效，且設計為在重尾資料下穩定，無需更高階矩假設。
• 透過適應重尾設定的PAC-Bayesian不等式，該方法維持了強大的泛化性能。
• 先驗的品質會影響最終的誤差界，但即使使用次優先驗，演算法仍具魯棒性與有效性。