[论文解读] On the EM-Tau algorithm: a new EM-style algorithm with partial E-steps

Val Andrei Fajardo, Jiaxi Liang|arXiv (Cornell University)|Nov 21, 2017

Blind Source Separation Techniques参考文献 16被引用 3

一句话总结

本文提出EM-Tau算法，一种新型的EM风格方法，通过基于成员概率堆的动态阈值策略执行部分E-步，从而加速收敛。通过仅重新评估成员概率堆中排名前τ%的最不确定数据点，EM-Tau在保持高准确率的同时，将大规模数据集上的计算成本大幅降低，与传统EM相比，运行时间最多缩短60%，分类误差增加不足0.2%。

ABSTRACT

The EM algorithm is one of many important tools in the field of statistics. While often used for imputing missing data, its widespread applications include other common statistical tasks, such as clustering. In clustering, the EM algorithm assumes a parametric distribution for the clusters, whose parameters are estimated through a novel iterative procedure that is based on the theory of maximum likelihood. However, one major drawback of the EM algorithm, that renders it impractical especially when working with large datasets, is that it often requires several passes of the data before convergence. In this paper, we introduce a new EM-style algorithm that implements a novel policy for performing partial E-steps. We call the new algorithm the EM-Tau algorithm, which can approximate the traditional EM algorithm with high accuracy but with only a fraction of the running time.

研究动机与目标

• 为解决传统EM算法在大规模数据集上收敛缓慢的问题，该问题通常需要对数据进行多次完整遍历。
• 开发一种计算高效的EM替代方法，通过减少E-步计算量来保持高准确率。
• 提出一种基于成员概率堆动态阈值的新型部分E-步策略。
• 评估聚类任务中计算效率与近似准确率之间的权衡。

提出的方法

• EM-Tau算法通过识别并仅重新评估跨聚类中成员概率堆排名前τ%的数据点，执行部分E-步。
• 为每个聚类维护一个堆结构，以追踪最不确定的数据点，即后验概率值较高的数据点。
• 该算法在每次迭代中动态更新活跃点集合，仅对可能改变成员关系的数据点进行计算。
• M-步按照标准EM算法执行，仅使用部分E-步中确定的活跃点来更新参数。
• 阈值τ控制着速度与准确率之间的权衡，τ值越高，越接近完整EM的性能。
• 该方法在理论上基于EM的收敛性质，作者证明了在弱条件下，部分E-步策略可保持似然函数单调递增。

实验结果

研究问题

• RQ1 基于成员概率的动态阈值部分E-步策略，是否能显著减少EM的计算时间，同时不牺牲聚类准确率？
• RQ2 τ（阈值参数）的选择如何影响EM-Tau中运行时间与近似质量之间的权衡？
• RQ3 尽管使用了部分E-步，EM-Tau是否仍能保持标准EM算法的似然函数单调递增性质？
• RQ4 在真实世界的聚类任务中，EM-Tau与EM*、Sparse EM和Lazy EM等现有EM变体相比，在速度和准确率方面表现如何？
• RQ5 EM-Tau框架是否可进一步通过引入如重新访问机制或部分M-步等加速技术进行扩展？

主要发现

• 当τ = 20时，EM-Tau相比传统EM实现60%的加速，运行时间从287.2秒减少至117.4秒，分类误差仅增加0.0007。
• 当τ = 25时，EM-Tau的分类误差为0.057227，而传统EM为0.057394，表明在计算量显著降低的情况下，准确率几乎完全一致。
• EM-Tau(25)仅需56次迭代，而传统EM需71次，证明即使采用部分E-步，其收敛速度仍快于传统方法。
• EM*算法在实验中未能产生可靠结果，可能由于对活跃点的过度剪枝，凸显了EM-Tau更平衡的阈值策略的优势。
• K-means聚类的准确率显著较低（分类误差为0.147184），远低于EM和EM-Tau，凸显了概率建模的价值。
• 混淆矩阵显示，EM-Tau(25)与传统EM的性能极为接近，各类别中的误分类均极少。