[论文解读] Optimistic Concurrency Control for Distributed Unsupervised Learning

Xinghao Pan, Joseph E. Gonzalez+3 more|arXiv (Cornell University)|Jul 30, 2013

Data Stream Mining Techniques参考文献 26被引用 15

一句话总结

本文提出为分布式无监督学习引入乐观并发控制（OCC），通过仅在冲突发生时检测并纠正冲突，实现在高并行性的同时保证正确性。该方法应用于DP-Means、BP-Means和在线设施选址算法，在大规模集群实验中实现了近乎完美的可扩展性，同时保持了串行算法的理论性质。

ABSTRACT

Research on distributed machine learning algorithms has focused primarily on one of two extremes - algorithms that obey strict concurrency constraints or algorithms that obey few or no such constraints. We consider an intermediate alternative in which algorithms optimistically assume that conflicts are unlikely and if conflicts do arise a conflict-resolution protocol is invoked. We view this "optimistic concurrency control" paradigm as particularly appropriate for large-scale machine learning algorithms, particularly in the unsupervised setting. We demonstrate our approach in three problem areas: clustering, feature learning and online facility location. We evaluate our methods via large-scale experiments in a cluster computing environment.

研究动机与目标

• 解决分布式机器学习中互斥机制带来的协调开销与无协调方法缺乏正确性之间的权衡问题。
• 实现对聚类和特征学习等迭代式无监督学习算法的可扩展、正确且理论可靠的并行化。
• 证明乐观并发控制可在保持高并发性能的同时，保留可串行化和算法保证。
• 将非参数聚类重新解释为具有可证明近似保证的设施选址问题，从而支持高效的分布式设计。

提出的方法

• 采用乐观并发控制（OCC）机制，假设冲突罕见，允许在无锁条件下并发执行状态更新。
• 将事务定义为对模型状态（如中心分配或参数更新）的单个或分组操作。
• 通过验证检查实现冲突检测，确保提交前满足串行化不变量。
• 通过回滚或重新计算纠正冲突事务，确保正确性，无需加锁。
• 利用模型中的稀疏性和对称性降低冲突概率，提升可扩展性。
• 将OCC集成到三种无监督学习算法中：DP-Means、BP-Means和在线设施选址（OFL），并提供正确性和可扩展性的理论分析。

实验结果

研究问题

• RQ1 乐观并发控制能否在保持理论保证的前提下，有效应用于分布式无监督学习？
• RQ2 与互斥和无协调方法相比，OCC在迭代学习算法上的性能和正确性表现如何？
• RQ3 OCC在大规模聚类和特征学习工作负载中，能在多大程度上实现近乎完美的可扩展性？
• RQ4 非参数聚类能否在分布式环境下被重新解释为具有可证明近似保证的设施选址问题？
• RQ5 冲突检测与纠正机制在实际应用中对性能和收敛性有何影响？

主要发现

• OCC DP-Means 和 BP-Means 在64台机器上实现了近乎完美的可扩展性，归一化运行时间与机器数量成比例下降。
• OCC OFL 初始阶段因冲突拒绝了大量操作，但在后续周期中迅速改善，表现出随时间增强的可扩展性。
• OCC方法保持了原始串行算法的理论性质和近似保证，包括OFL的性质。
• 冲突检测机制实现了高并行性且开销极低，因为模型的稀疏性和对称性使得冲突发生频率极低。
• 在包含最多800万个数据点的集群上的实证结果证实，所有三种算法均表现出优异性能和线性加速比。
• 该框架可通过冲突检测控制开关，实现稳定正确OCC与更快的无协调执行之间的软切换。