[论文解读] Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?

Chenxin Ma, Martin Takáč|arXiv (Cornell University)|Oct 22, 2015

Stochastic Gradient Optimization Techniques参考文献 16被引用 6

一句话总结

本文研究了在通信高效分布式优化中的数据分区策略，对比了基于样本的（DiSCO-S）与基于特征的（DiSCO-F）分区方法。提出并分析了DiSCO-F，表明当 n < d 时，特征分区可降低通信成本，并改善计算负载均衡，从而在实际应用中实现更快的收敛速度，尤其在高维大规模数据集上表现更优。

ABSTRACT

In this paper we study the effect of the way that the data is partitioned in distributed optimization. The original DiSCO algorithm [Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss, Yuchen Zhang and Lin Xiao, 2015] partitions the input data based on samples. We describe how the original algorithm has to be modified to allow partitioning on features and show its efficiency both in theory and also in practice.

研究动机与目标

• 分析基于样本或基于特征的数据分区对分布式优化中通信效率的影响。
• 提出并实现一种改进的DiSCO算法，通过特征分区（DiSCO-F）实现更好的可扩展性。
• 在理论上和实践中比较DiSCO-S（基于样本分区）与DiSCO-F（基于特征分区）的计算与通信开销。
• 在真实世界的大规模数据集上评估DiSCO-F的性能，并与DiSCO-S和CoCoA+进行比较。

提出的方法

• 通过重构本地计算以在所有样本上操作特征子集，将DiSCO算法适配为支持基于特征的数据分区。
• 在每次迭代中，使用带预处理共轭梯度（PCG）求解器的非精确牛顿法，高效计算搜索方向。
• 采用预处理矩阵 P，定义为局部Hessian近似值的平均值加上正则化项，以实现更快收敛。
• 通过最小化节点间数据传输减少通信开销：DiSCO-F每轮迭代仅需一次长度为 n 的 ReduceAll 操作，而DiSCO-S需长度为 d 的向量。
• 整合节点级计算与通信模式，以平衡工作负载并减少空闲时间。
• 使用C++实现DiSCO-F，并在Amazon EC2上利用news20.binary、kdd2010和epsilon等真实世界数据集进行评估。

实验结果

研究问题

• RQ1 在分布式优化中，基于特征的分区与基于样本的分区相比，通信成本如何？
• RQ2 DiSCO-F能否在减少通信开销的同时，实现与DiSCO-S相当的收敛速度？
• RQ3 数据维度（d）和样本数量（n）对DiSCO-F与DiSCO-S通信效率的影响是什么？
• RQ4 与DiSCO-S相比，DiSCO-F如何改善节点间的计算负载均衡？
• RQ5 在真实世界数据集上，DiSCO-F是否在执行时间与通信效率方面优于现有方法如CoCoA+？

主要发现

• 当 n < d 时，DiSCO-F相比DiSCO-S显著降低通信成本，每轮迭代仅需一次长度为 n 的 ReduceAll 操作。
• DiSCO-F在收敛速度上与DiSCO-S相当，但通信轮次减少约一半，从而在实际执行中实现更快的运行速度。
• 在高维数据集如kdd2010（d ≈ 29.9M）上，由于通信开销大幅降低，DiSCO-F在执行时间上显著优于DiSCO-S。
• DiSCO-F通过让每个节点处理特征子集而非样本，实现更均衡的计算负载分配，从而改善了计算负载均衡。
• 在数值实验中，DiSCO-F在大规模数据集上的收敛速度与通信效率方面，与CoCoA+相比达到或超过其表现。
• 该算法在保持理论收敛保证的同时，通过基于特征的分区实现了更高效的通信模式。