[论文解读] Quantitative Overfitting Management for Human-in-the-loop ML Application Development with ease.ml/meter

Frances Ann Hubis, Wentao Wu+1 more|arXiv (Cornell University)|Jun 1, 2019

Anomaly Detection Techniques and Applications参考文献 27被引用 5

一句话总结

本文介绍了 ease.ml/meter 系统，该系统通过提供概率保证的过拟合信号，定量管理人在回路的机器学习开发中的过拟合问题。该系统在自适应分析下动态计算最优的验证集和测试集大小，与重采样方法相比，可将所需标注数量减少高达 8 倍，同时保持严格的统计保证。

ABSTRACT

Simplifying machine learning (ML) application development, including distributed computation, programming interface, resource management, model selection, etc, has attracted intensive interests recently. These research efforts have significantly improved the efficiency and the degree of automation of developing ML models. In this paper, we take a first step in an orthogonal direction towards automated quality management for human-in-the-loop ML application development. We build ease. ml/meter, a system that can automatically detect and measure the degree of overfitting during the whole lifecycle of ML application development. ease. ml/meter returns overfitting signals with strong probabilistic guarantees, based on which developers can take appropriate actions. In particular, ease. ml/meter provides principled guidelines to simple yet nontrivial questions regarding desired validation and test data sizes, which are among commonest questions raised by developers. The fact that ML application development is typically a continuous procedure further worsens the situation: The validation and test data sets can lose their statistical power quickly due to multiple accesses, especially in the presence of adaptive analysis. ease. ml/meter addresses these challenges by leveraging a collection of novel techniques and optimizations, resulting in practically tractable data sizes without compromising the probabilistic guarantees. We present the design and implementation details of ease. ml/meter, as well as detailed theoretical analysis and empirical evaluation of its effectiveness.

研究动机与目标

• 解决在迭代式、人在回路的机器学习开发中，验证集和测试集规模缺乏系统性指导准则的问题。
• 管理因在多个模型迭代中重复使用相同验证集和测试集而引发的过拟合风险。
• 在自适应分析下，提供具有强概率保证的实用且可计算的数据规模建议。
• 在持续的机器学习开发中，降低测试集的样本复杂度，同时不牺牲统计有效性。
• 将过拟合管理无缝集成到现实世界机器学习应用生命周期中，最大限度减少用户负担。

提出的方法

• 该系统使用增量式且非均匀的计量器，跟踪在验证集和测试集上对自适应查询造成的统计功效损失。
• 应用集中不等式和自适应分析理论，计算具有概率保证的过拟合风险紧致边界。
• 系统根据历史使用情况和用户定义的误差容忍度（ε）与置信度（δ），动态重新计算所需的集合大小。
• 采用非均匀误差分配和增量更新等优化技术，以降低样本复杂度。
• 系统强制执行使用约束，并在统计功效受损时触发警报，提示用户提供新的验证集或测试集。
• 通过查询接口与机器学习开发工作流集成，返回带有置信区间边界的过拟合信号。

实验结果

研究问题

• RQ1 在迭代式机器学习开发中，如何计算在自适应分析下维持统计功效所需的验证集和测试集规模？
• RQ2 为确保以高置信度（1−δ）实现可靠泛化，验证集和测试集的最小样本规模是多少？
• RQ3 在存在自适应查询的情况下，如何降低测试集的样本复杂度，同时保持概率保证？
• RQ4 在标签效率方面，优化的计量器相较于朴素的重采样方法能提升多少？
• RQ5 在现实世界的机器学习开发中，非均匀和增量式计量策略如何优于标准方法？

主要发现

• 非均匀增量计量器在 90% 置信度（δ=0.1）下，可将所需测试集规模减少至仅 25,000 个标签，接近理论下限。
• 在 99% 置信度（δ=0.01）下，非均匀增量计量器仅需 37,000 个标签，相比基于重采样的方法提升 2.5 倍至 8 倍。
• 与常规计量器相比，增量计量器在样本复杂度上提升 1.6 倍至 3 倍，证明了自适应大小重新计算的优势。
• ease.ml/meter 实现了接近无自适应理想情况下的样本复杂度，展现出强大的实际可行性。
• 与重采样方法相比，该系统将标签需求减少了高达 8 倍，显著提升了现实世界机器学习开发中的成本效率。
• 实证评估证实，该系统在大幅减少所需人工标注样本数量的同时，仍能保持强大的概率保证。