[论文解读] Reducing overfitting in challenge-based competitions

Elias Chaibub Neto, Bruce Hoff+11 more|arXiv (Cornell University)|Jul 1, 2016

Sports Analytics and Performance参考文献 17被引用 3

一句话总结

本文提出了一种基于贝叶斯自助法的Ladder算法变体，以减少在挑战性竞赛中因小样本数据导致的过拟合问题。通过发布排行榜得分的自助法估计值而非原始性能指标，该方法可防止参与者对微小分数波动产生过拟合，从而有效缓解受弗里德曼悖论启发的攻击所暴露的漏洞，同时支持任意性能度量指标。

ABSTRACT

Over-fitting is a dreaded foe in challenge-based competitions. Because participants rely on public leaderboards to evaluate and refine their models, there is always the danger they might over-fit to the holdout data supporting the leaderboard. The recently published Ladder algorithm aims to address this problem by preventing the participants from exploiting willingly or inadvertently minor fluctuations in public leaderboard scores during model refinement. In this paper, we report a vulnerability of the Ladder that induces severe over-fitting of the leaderboard when the sample size is small. To circumvent this attack, we propose a variation of the Ladder that releases a bootstrapped estimate of the public leaderboard score instead of providing participants with a direct measure of performance. We also extend the scope of the Ladder to arbitrary performance metrics by relying on a more broadly applicable testing procedure based on the Bayesian bootstrap. Our method makes it possible to use a leaderboard, with the technical and social advantages that it provides, even in cases where data is scant.

研究动机与目标

• 解决Ladder算法在小样本回归挑战中对过拟合的脆弱性问题。
• 防止参与者在模型优化过程中利用公开排行榜分数的微小波动。
• 将Ladder机制扩展至支持除样本矩可表达度量之外的任意性能度量指标。
• 在不损害排行榜完整性的前提下，保留公开排行榜带来的迭代模型优化和社区参与等优势。
• 为生物医学研究等数据稀缺领域提供一种稳健、可扩展的解决方案，以组织公平且可靠的基于挑战的竞赛。

提出的方法

• 用性能的自助法估计值替代直接公开发布排行榜得分，以隐藏微小分数波动。
• 使用贝叶斯自助法生成连续模型提交之间性能差异（Δs）的后验分布。
• 应用贝叶斯假设检验，结合后验奇偶比（PO）判断是否发布新得分或保留先前最佳得分。
• 对于无法表示为样本矩的度量指标，使用非参数自助法重采样，以近似贝叶斯后验分布。
• 基于弗里德曼悖论设计的逐步前进攻击模拟，用于测试Ladder算法的脆弱性，并验证改进方法的有效性。
• 将该方法集成到顺序模型优化流程中，仅向参与者揭示具有统计显著性的改进结果。

实验结果

研究问题

• RQ1 Ladder算法能否在小样本回归场景下对对抗性过拟合攻击具备鲁棒性？
• RQ2 如何将Ladder机制扩展至支持任意性能度量指标，包括非线性和非矩基度量？
• RQ3 用自助法估计值替代直接排行榜得分，是否能有效减少过拟合，同时不阻碍模型优化？
• RQ4 基于贝叶斯自助法的方法在多大程度上保持了基于挑战竞赛的公平性与可靠性？
• RQ5 该方法能否在维持公开排行榜的社会与技术优势的同时，防止通过分数利用导致的数据泄露？

主要发现

• 原始Ladder算法在小样本回归问题中存在过拟合风险，尤其在受弗里德曼悖论启发的攻击下表现脆弱。
• 所提出的基于贝叶斯自助法的变体通过自助法估计隐藏微小分数波动，成功防止了过拟合。
• 该方法通过利用贝叶斯自助法或非参数自助法作为后验推断的代理，支持任意性能度量指标。
• 该方法在显著降低参与者对公开排行榜数据过拟合风险的同时，保持了模型优化能力。
• 通过逐步前进攻击的实证验证表明，改进后的Ladder机制在原始Ladder失效的情况下仍能有效抵抗过拟合。
• 该方法使得在生物医学研究等数据稀缺领域中使用公开排行榜成为可能，同时不损害最终模型评估的完整性。