[论文解读] Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields

Mark Schmidt, Reza Babanezhad+4 more|arXiv (Cornell University)|Apr 16, 2015

Stochastic Gradient Optimization Techniques参考文献 31被引用 26

一句话总结

本文提出了一种用于训练条件随机场（CRFs）的非均匀随机平均梯度（SAG）方法，通过结构化梯度计算减少内存使用，并引入非均匀采样策略以加速收敛。该方法在训练目标函数上的减少速度显著快于现有方法，通常快一个数量级，同时在无需学习率调优的情况下，达到或超过最优调参的随机梯度方法的测试准确率。

ABSTRACT

We apply stochastic average gradient (SAG) algorithms for training conditional random fields (CRFs). We describe a practical implementation that uses structure in the CRF gradient to reduce the memory requirement of this linearly-convergent stochastic gradient method, propose a non-uniform sampling scheme that substantially improves practical performance, and analyze the rate of convergence of the SAGA variant under non-uniform sampling. Our experimental results reveal that our method often significantly outperforms existing methods in terms of the training objective, and performs as well or better than optimally-tuned stochastic gradient methods in terms of test error.

研究动机与目标

• 为解决条件随机场（CRFs）训练的高计算成本问题，CRFs在自然语言处理中广泛应用，但因其梯度计算昂贵而训练缓慢。
• 降低SAG算法的内存开销，该算法因需存储所有训练样本的梯度而对大规模CRFs而言不可行。
• 通过非均匀采样策略提升实际收敛速度，自适应地优先处理信息量高的训练样本。
• 证明采用非均匀采样的SAGA变体在一般采样方案下可实现线性收敛，且收敛速率更快。
• 通过实证表明，该方法在训练目标和测试误差上优于确定性和随机优化基线方法，且无需学习率调优。

提出的方法

• 通过利用CRF梯度的结构特性，将SAG算法适配于CRFs，将每个样本的内存开销从O(n)降低至O(1)，从而实现可扩展的训练。
• 提出一种非均匀采样（NUS）策略，通过估计并优先处理对梯度贡献较大的数据点，提升收敛速度。
• 采用SAGA的变体，维护过去梯度的运行平均值，实现方差更低的高效更新。
• 采用自适应步长策略和基于目标函数值下降的停止准则，消除了手动调参的需要。
• 实现一种内存高效的梯度计算策略，通过利用CRF的条件结构，避免为所有训练样本存储完整梯度。
• 提出理论分析，证明在非均匀采样下，SAGA变体可实现线性收敛，且在最优采样策略下收敛速率进一步提升。

实验结果

研究问题

• RQ1 尽管CRFs具有高内存和计算需求，SAG算法能否被有效适配用于其训练？
• RQ2 对训练样本的非均匀采样如何影响SAG在CRF训练中的收敛速度和实际性能？
• RQ3 能否通过利用梯度计算的结构特性，降低SAG在CRFs中的内存开销？
• RQ4 与现有确定性和随机优化方法相比，该方法在训练目标上是否实现更快的收敛？
• RQ5 该方法能否在不进行手动学习率调优的情况下，达到或超过最优调参的随机梯度方法的测试准确率？

主要发现

• 在POS标注、命名实体识别（NER）和依存句法分析等基准NLP任务上，所提出的SAG-NUS方法在训练目标上的减少速度比现有方法快一个数量级。
• 尽管无需学习率调优，该方法在测试误差上的表现与最优调参的随机梯度方法相当或更优。
• 非均匀采样显著提升了收敛速度，SAGA变体在NUS下的收敛速率明显快于均匀采样。
• 通过利用CRF梯度的结构，内存使用量大幅降低，使大规模CRF训练在SAG框架下成为可能。
• 理论分析证实，在非均匀采样下SAGA变体可实现线性收敛，且在最优采样策略下收敛速率进一步提升。
• 运行时间实验表明，该方法在单位时间内目标函数减少量上优于L-BFGS和其他随机方法，仅因自适应步长带来轻微额外开销。