[论文解读] Speculative Approximations for Terascale Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|Jan 1, 2015

Data Management and Algorithms参考文献 54被引用 4

一句话总结

本文提出推测性参数测试与在线聚合技术，以加速大规模分析中的模型校准。通过并行多查询处理同时评估多个步长，并利用增量采样实现早期停止，该方法将校准时间最多缩短20倍，同时可在仅需传统方法1/20时间的情况下识别出次优配置。

ABSTRACT

Model calibration is a major challenge faced by the plethora of statistical analytics packages that are increasingly used in Big Data applications. Identifying the optimal model parameters is a time-consuming process that has to be executed from scratch for every dataset/model combination even by experienced data scientists. We argue that the incapacity to evaluate multiple parameter configurations simultaneously and the lack of support to quickly identify sub-optimal configurations are the principal causes. In this paper, we develop two database-inspired techniques for efficient model calibration. Speculative parameter testing applies advanced parallel multi-query processing methods to evaluate several configurations concurrently. The number of configurations is determined adaptively at runtime, while the configurations themselves are extracted from a distribution that is continuously learned following a Bayesian process. Online aggregation is applied to identify sub-optimal configurations early in the processing by incrementally sampling the training dataset and estimating the objective function corresponding to each configuration. We design concurrent online aggregation estimators and define halting conditions to accurately and timely stop the execution. We apply the proposed techniques to distributed gradient descent optimization -- batch and incremental -- for support vector machines and logistic regression models. We implement the resulting solutions in GLADE PF-OLA -- a state-of-the-art Big Data analytics system -- and evaluate their performance over terascale-size synthetic and real datasets. The results confirm that as many as 32 configurations can be evaluated concurrently almost as fast as one, while sub-optimal configurations are detected accurately in as little as a $1/20^{ ext{th}}$ fraction of the time.

研究动机与目标

• 解决大规模数据分析中模型校准的高计算成本与交互式特性问题。
• 克服在大规模数据集上逐个评估参数配置的低效性。
• 实现在不带来时间成比例增加的前提下，对多个超参数配置进行并发评估。
• 通过增量采样与在线聚合技术，早期检测出次优配置。
• 证明在结合这些技术后，批量梯度下降（BGD）在收敛速度与执行时间上均优于增量梯度下降（IGD）。

提出的方法

• 利用高级并行多查询处理技术实施推测性参数测试，实现对多个步长在单次遍历训练数据过程中并发评估。
• 运行时动态调整配置数量，采用贝叶斯过程学习并从有希望的参数分布中采样。
• 将在线聚合与并发估计器结合，对训练数据集进行增量采样，并为每个配置估计目标函数。
• 基于贝叶斯统计推导的置信区间定义停止条件，在检测到次优性时提前停止处理。
• 通过重叠模型更新与损失计算，最小化推测执行期间的空闲时间，提升资源利用率。
• 在GLADE PF-OLA（一个大数据分析系统）中实现这些技术，以支持支持向量机与逻辑回归的批量和增量梯度下降。

实验结果

研究问题

• RQ1 是否能在单次数据遍历中，对多个超参数配置进行并发评估，且时间增长接近线性？
• RQ2 是否能通过增量采样与在线聚合估计器，实现对次优配置的早期检测？
• RQ3 在结合推测与近似技术后，批量梯度下降（BGD）是否在收敛速度与执行时间上均优于增量梯度下降（IGD）？
• RQ4 在线聚合结合置信区间在多大程度上可减少模型校准所需时间？
• RQ5 推测执行与在线聚合的集成在多大程度上可减少大规模数据集上的总校准时间？

主要发现

• 最多可并发评估32个参数配置，实现接近线性的加速比，性能与单个配置相当。
• 次优配置可在仅需传统方法1/20时间的情况下被高精度检测。
• 在结合推测与在线聚合技术后，批量梯度下降（BGD）在收敛速度与执行时间上始终优于增量梯度下降（IGD）。
• 在线聚合与推测执行的集成通过为低效配置实现早期停止，显著减少了总校准时间。
• 所提技术具有通用性，可集成至支持多线程与部分聚合的现有大数据平台（如MLlib、MADlib、Vowpal Wabbit）中。
• 基于贝叶斯的置信区间为在线聚合估计器提供了准确且及时的停止决策，有效减少了早期终止的误报率。