[论文解读] The Dynamic ECME Algorithm

Yunxiao He, Chuanhai Liu|arXiv (Cornell University)|Apr 4, 2010

Advanced Multi-Objective Optimization Algorithms参考文献 58被引用 6

一句话总结

本文提出动态ECME（DECME）算法，一种新型EM算法加速方法，通过动态选择加速子空间以提升收敛速度。通过将逐次超松弛（SOR）重述为特例并引入DECME_v1，该方法实现了类似共轭方向的收敛性，在收敛缓慢的场景下，相比EM算法，迭代次数减少高达100倍，CPU时间减少高达30倍。

ABSTRACT

The ECME algorithm has proven to be an effective way of accelerating the EM algorithm for many problems. Recognising the limitation of using prefixed acceleration subspace in ECME, we propose the new Dynamic ECME (DECME) algorithm which allows the acceleration subspace to be chosen dynamically. Our investigation of an inefficient special case of DECME, the classical Successive Overrelaxation (SOR) method, leads to an efficient, simple, and widely applicable DECME implementation, called DECME_v1. The fast convergence of DECME_v1 is established by the theoretical result that, in a small neighbourhood of the maximum likelihood estimate (MLE), DECME_v1 is equivalent to a conjugate direction method. Numerical results show that DECME_v1 and its two variants are very stable and often converge faster than EM by a factor of one hundred in terms of number of iterations and a factor of thirty in terms of CPU time when EM is very slow.

研究动机与目标

• 为解决ECME中固定加速子空间的局限性，该局限性在实践中常导致次优收敛。
• 开发一种动态框架，在EM迭代过程中自适应调整加速子空间，以更好地匹配最慢收敛方向。
• 设计一种简单、稳定且广泛适用的DECME实现，避免梯度计算，与先前的共轭方向方法不同。
• 在迭代次数和CPU时间方面，显著提升EM、ECME和SOR的加速效果。

提出的方法

• 提出一种通用的动态ECME（DECME）算法，根据当前参数估计和收敛行为动态选择加速子空间。
• 将SOR重述为DECME的特例，从而支持收敛性和稳定性的理论分析。
• 引入DECME_v1，一种实用实现，在标准正则条件下，于MLE邻域内实现类似共轭方向的收敛性。
• 沿搜索方向采用线搜索方案，确保收敛性的同时保持简单性和稳定性。
• 设计DECME_v2和DECME_v3作为变体，以减少函数评估次数，提升计算效率。
• 利用可行区域计算（如正定性、单纯形约束）指导约束参数空间中的线搜索。

实验结果

研究问题

• RQ1 在ECME中动态选择加速子空间是否能实现比固定子空间ECME更快的收敛速度？
• RQ2 所提出的DECME_v1实现与EM、ECME和SOR相比，在收敛速度和计算成本方面表现如何？
• RQ3 DECME_v1在MLE邻域内是否在理论上等价于共轭方向方法？
• RQ4 DECME能否在不计算观测对数似然梯度的情况下实现，从而实现更广泛的应用？
• RQ5 线搜索精度和可行区域计算对DECME的效率和稳定性有何影响？

主要发现

• 当EM算法收敛缓慢时，DECME_v1在迭代次数上相比EM算法收敛速度最高可提升100倍。
• 在收敛缓慢的场景下，DECME_v1相比EM算法将CPU时间减少了高达30倍。
• DECME_v1在MLE邻域内理论上等价于共轭方向方法，解释了其快速收敛的原因。
• 该方法避免了显式梯度计算，因此相比AEM实现更简单，同时保持了相似的效率提升。
• DECME_v2和DECME_v3在不牺牲收敛速度的前提下减少了函数评估次数，提升了计算效率。
• 线搜索通过利用可行区域约束和标准R函数高效实现，容差设为0.01，以在准确性和速度之间取得平衡。