[论文解读] Protocols for Learning Classifiers on Distributed Data

Hal Daumé, Jeff M. Phillips+2 more|arXiv (Cornell University)|Feb 27, 2012

Machine Learning and Algorithms参考文献 17被引用 5

一句话总结

该论文提出了一种用于在分布式数据上学习分类器的通信高效协议，通过主动的节点间通信最小化数据传输。它引入了双向协议，在线性分类器上相较于单向方法实现了指数级的通信减少，特别证明了在对抗性分布下，$\varepsilon$-误差分类器的通信复杂度为$O(\log 1/\varepsilon)$。

ABSTRACT

We consider the problem of learning classifiers for labeled data that has been distributed across several nodes. Our goal is to find a single classifier, with small approximation error, across all datasets while minimizing the communication between nodes. This setting models real-world communication bottlenecks in the processing of massive distributed datasets. We present several very general sampling-based solutions as well as some two-way protocols which have a provable exponential speed-up over any one-way protocol. We focus on core problems for noiseless data distributed across two or more nodes. The techniques we introduce are reminiscent of active learning, but rather than actively probing labels, nodes actively communicate with each other, each node simultaneously learning the important data from another node.

研究动机与目标

• 解决分布式机器学习中的通信瓶颈问题，即数据被分割在多个节点上。
• 在确保分类器在全局数据集上实现低近似误差的前提下，最小化节点间通信量。
• 开发超越简单聚合本地模型的协议，通过节点间主动的双向信息交换实现。
• 在对抗性数据分布下，为单向和双向通信模型建立可证明的通信复杂度边界。
• 证明双向协议在学习线性分类器时，相较于单向协议可实现指数级的通信成本降低。

提出的方法

• 将分布式分类形式化为通信复杂度问题，将通信视为有限资源。
• 提出一种名为IterativeSupport的双向协议，通过迭代交换支持点和分类器反馈来优化全局分类器。
• 使用精心选择的数据描述符（如支持点和间隔信息）以每比特传输传递最大学习效用。
• 在分布式环境中应用主动学习原则：节点通过有针对性的通信主动探测并从彼此的数据中学习。
• 通过归约到索引问题证明下界，表明单向协议的通信存在固有极限。
• 分析在对抗性和i.i.d.数据模型下，各类假设类（阈值、轴对齐矩形、超平面）的通信复杂度。

实验结果

研究问题

• RQ1 双向通信协议能否在分布式学习中显著降低通信复杂度，相较于单向协议？
• RQ2 在分布式对抗性数据上，学习具有$\varepsilon$-近似误差的分类器所需的最小通信量是多少？
• RQ3 对于哪些假设类（如超平面、阈值）可以以常数或对数通信量学习到精确或近似最优的分类器？
• RQ4 通信复杂度如何随期望误差$\varepsilon$和参与方数量$k$变化？
• RQ5 主动的双向通信能否相比单向协议实现指数级的通信成本降低，特别是在学习线性分类器时？

主要发现

• 对于学习$\varepsilon$-误差线性分类器，双向通信协议的通信复杂度为$O(\log 1/\varepsilon)$，相较于单向协议的$\Omega(1/\varepsilon)$下界实现了指数级改进。
• 对于阈值和轴对齐矩形，无论数据规模如何，均可通过常数通信量学习到精确分类器（0-误差）。
• 单向协议在超平面情况下需要$\Omega(1/\varepsilon)$通信量，且为检测区间和矩形的完美分类器存在性，需$\Omega(|D_A|)$通信量。
• 通过索引问题的归约证明，任何单向协议都无法以亚线性通信量检测区间或矩形的完美分类器。
• IterativeSupport协议使双向通信在两个参与方之间仅用$O(\log 1/\varepsilon)$比特即可收敛到$\varepsilon$-误差分类器。
• 对于$k$个参与方，双向协议的通信量扩展为$O(k^2 \log 1/\varepsilon)$，展现出良好的可扩展性，同时保持相较于单向方法的指数级优势。