[论文解读] Online Evaluation for Effective Web Service Development

Roman Budylin, Alexey Drutsa+3 more|arXiv (Cornell University)|Sep 3, 2018

Service-Oriented Architecture and Web Services参考文献 51被引用 4

一句话总结

本文针对网络服务开发中的在线评估提供了一套全面的教程，重点聚焦于工业环境下的A/B测试与在线受控实验。内容涵盖统计基础、指标设计、实验流水线以及机器学习增强技术，提供了实用指导与最先进的方法，以提升大规模网络平台中在线评估的效率、准确性和可扩展性。

ABSTRACT

Development of the majority of the leading web services and software products today is generally guided by data-driven decisions based on evaluation that ensures a steady stream of updates, both in terms of quality and quantity. Large internet companies use online evaluation on a day-to-day basis and at a large scale. The number of smaller companies using A/B testing in their development cycle is also growing. Web development across the board strongly depends on quality of experimentation platforms. In this tutorial, we overview state-of-the-art methods underlying everyday evaluation pipelines at some of the leading Internet companies. Software engineers, designers, analysts, service or product managers --- beginners, advanced specialists, and researchers --- can learn how to make web service development data-driven and do it effectively.

研究动机与目标

• 提供一种基于在线评估与A/B测试的实用、数据驱动的网络服务开发框架。
• 解决设计有效评估指标的挑战，确保指标在方向上准确且对真实用户影响敏感。
• 分享领先互联网公司在大规模实验流水线中的最佳实践与常见陷阱。
• 介绍先进方法——尤其是基于机器学习的技术——以提升在线实验的效率与敏感性。
• 指出在线实验中的开放研究挑战，包括异质性处理效应与序贯检验。

提出的方法

• 利用统计基础，包括p值、第一类/第二类错误以及假设检验（t检验、Mann-Whitney U检验、自助法）来验证实验结果。
• 介绍A/B测试的关键组件：对照组与实验组、关键指标、OEC（整体评估准则）以及OAC（整体接受准则）。
• 提出指标设计原则，强调方向性与对用户行为有意义变化的敏感性。
• 应用方差缩减技术，如回归调整、分层法与梯度提升树，以提高指标精度。
• 采用最优分布分解（ODD）方法，检测处理组与对照组分布之间的差异，而不仅限于均值变化。
• 引入早期停止与实验最优调度方法，以减少实验时长与资源消耗，同时控制第一类错误。

实验结果

研究问题

• RQ1 如何设计评估指标，以可靠反映用户体验变化，同时避免操纵或钻空子？
• RQ2 大规模在线实验中的关键统计与方法论陷阱有哪些，如何加以缓解？
• RQ3 机器学习技术如何在传统方法之外，提升在线A/B测试的敏感性与效率？
• RQ4 在何种方式下，可以检测并利用处理组与对照组之间的分布级差异，以实现更优评估？
• RQ5 如何在工业环境中优化在线实验流水线，以实现可扩展性、速度与鲁棒性？

主要发现

• 使用方向合理且敏感的指标显著提升了在线评估的可靠性，减少了对服务变更结论的误判。
• 回归调整与梯度提升树可降低指标方差，从而在更少用户参与下更早检测到处理效应。
• ODD方法可检测到均值变化之外的分布差异，提升了对复杂用户行为变化的敏感性。
• 通过学习指标组合可提升大规模实验中的敏感性，实证评估已证实其有效性。
• 最优调度与早期停止程序可减少实验时长，同时保持统计有效性并控制第一类错误。
• 像Yandex、Bing与Google这样的公司，其工业级实验流水线每日运行数百至千个以上A/B测试，证明了该框架的可扩展性。