[论文解读] Scalable Nonlinear Learning with Adaptive Polynomial Expansions

Alekh Agarwal, Alina Beygelzimer+3 more|arXiv (Cornell University)|Oct 2, 2014

Neural Networks and Applications参考文献 27被引用 5

一句话总结

本文提出 APPLE（自适应多项式展开学习），一种可扩展的在线算法，能以多项式时间自适应学习高阶交互特征，显著提升线性模型的非线性表征学习性能。通过根据学习到的权重动态扩展特征集，APPLE 仅带来适度的计算增加，即可实现更低的测试误差，优于二次和三次展开等强基线模型在大规模数据集上的表现。

ABSTRACT

Can we effectively learn a nonlinear representation in time comparable to linear learning? We describe a new algorithm that explicitly and adaptively expands higher-order interaction features over base linear representations. The algorithm is designed for extreme computational efficiency, and an extensive experimental study shows that its computation/prediction tradeoff ability compares very favorably against strong baselines.

研究动机与目标

• 设计一种计算高效的算法，在大规模场景下学习非线性表征，训练速度与线性模型相当，同时提升统计性能。
• 解决显式多项式展开方法在高阶或稀疏高维数据上计算成本过高的挑战。
• 开发一种在训练过程中自适应选择并添加交互特征的方法，基于模型权重进行引导，而非使用固定或非自适应的展开方式。
• 证明自适应特征扩展可在计算/预测性能权衡上超越非自适应多项式展开和基于核的方法。
• 通过遗憾界理论证明和在多样化大规模数据集上的实证验证，提供理论支持。

提出的方法

• APPLE 在一个不断增长的特征空间上使用随机梯度下降（SGD），该空间包含基础线性特征和动态添加的高阶交互项。
• 该算法根据对应权重的大小自适应选择新的单项特征，聚焦于能最大程度减少预测误差的特征。
• 特征扩展由父单项特征引导：仅当父特征权重显著时，才考虑将其扩展为更高阶项，从而减少不必要的计算。
• 该方法采用基于权重的启发式策略确定包含哪些交互项，避免对所有可能组合进行穷举搜索。
• 在分布式环境中，通过重复平均和 AllReduce 实现 APPLE 的并行化版本，支持在包含数亿样本的数据集上进行训练。
• 算法在 30 个数据集上使用相对误差和相对时间指标进行评估，与线性、二次和三次基线模型进行比较。

实验结果

研究问题

• RQ1 我们能否仅以适度的计算成本增加，实现优于线性模型的统计性能？
• RQ2 在大规模场景下，自适应在线选择多项式交互特征是否能优于非自适应或固定阶数的展开方式？
• RQ3 将标签信息融入特征扩展是否能带来优于无监督特征构造方法的性能？
• RQ4 该算法能否在大规模数据集（如 6.90 亿样本）上保持计算效率和预测准确性？
• RQ5 在准确率与时间的权衡方面，自适应特征扩展机制与核方法及随机特征嵌入相比如何？

主要发现

• 在非零特征数 per 示例最多的前 6 个数据集中，APPLE 在其中 3 个上显著降低了测试误差，优于线性和非自适应多项式基线，统计性能通常与最佳基线持平或更优。
• 在更大规模数据集上，APPLE 在测试误差方面持续优于二次基线，同时训练速度显著更快，训练时间通常不到二次基线的一半。
• 由于计算成本过高，三次基线在大多数数据集上不可行，凸显了 APPLE 自适应方法在可扩展性方面的优势。
• 在包含 6.90 亿样本的大规模分布式设置下，APPLE 使用二元特征实现了 AUC 0.81796，较线性基线提升 0.00132，仅耗时 7378 秒（不足 2.1 小时）。
• APPLE 的并行化版本成功在 Hadoop 存储的超大规模数据集上训练，而完整二次基线在一天内未能完成，证明了其实际可扩展性。
• 由于计算开销过大，逐样本测试特征包含性的“挑剔型”算法被排除，验证了 APPLE 基于父特征的扩展策略的高效性。