[论文解读] The Information Bottleneck EM Algorithm

Gal Elidan, Nir Friedman|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用 31

一句话总结

本文提出信息瓶颈期望最大化算法（IB-EM），一种新颖的方法，通过优化两个信息论目标之间的权衡来学习具有隐变量的概率图模型：在最小化隐变量关于样本身份的冗余性的同时，最大化其关于观测属性的信息量。该方法通过迭代优化这一权衡，避免了局部最优解，收敛至得分更高的解，从而优于标准EM算法。

ABSTRACT

Learning with hidden variables is a central challenge in probabilistic graphical models that has important implications for many real-life problems. The classical approach is using the Expectation Maximization (EM) algorithm. This algorithm, however, can get trapped in local maxima. In this paper we explore a new approach that is based on the Information Bottleneck principle. In this approach, we view the learning problem as a tradeoff between two information theoretic objectives. The first is to make the hidden variables uninformative about the identity of specific instances. The second is to make the hidden variables informative about the observed attributes. By exploring different tradeoffs between these two objectives, we can gradually converge on a high-scoring solution. As we show, the resulting, Information Bottleneck Expectation Maximization (IB-EM) algorithm, manages to find solutions that are superior to standard EM methods.

研究动机与目标

• 解决标准EM算法在隐变量学习过程中易陷入局部极大值的局限性。
• 开发一种新的学习框架，将信息论原理融入隐变量模型的优化过程。
• 平衡两个相互竞争的目标：使隐变量对样本身份不具信息量，同时对观测属性具有信息量。
• 通过迭代优化这些目标之间的权衡，提升所学模型的质量。
• 证明所提出的IB-EM算法相较于经典EM方法具有更优的性能。

提出的方法

• IB-EM算法将学习问题建模为两个信息论目标之间的权衡：最小化隐变量与样本身份之间的互信息，同时最大化隐变量与观测属性之间的互信息。
• 引入拉格朗日公式，将这两个目标整合为一个单一的优化准则，由一个权衡系数参数化。
• 该算法迭代执行期望步与最大化步：E步在当前模型下计算后验分布，M步则更新模型参数以优化信息瓶颈目标。
• 在迭代过程中逐步调整权衡参数，以探索解空间的不同区域，从而逃离低质量的局部最优解。
• 该方法利用信息瓶颈原理引导学习过程，确保隐变量仅捕捉数据中最具相关性的结构。
• 算法采用改进的EM框架，将信息论约束整合到参数更新过程中。

实验结果

研究问题

• RQ1 信息瓶颈原理能否有效整合到EM框架中，以改善隐变量学习？
• RQ2 IB-EM算法在隐变量模型中是否比标准EM更有效地避免局部极大值？
• RQ3 在冗余性与信息量之间建立权衡，是否能带来更高质量的模型解？
• RQ4 对权衡参数的迭代调整如何影响收敛性与解的质量？
• RQ5 IB-EM在基准学习任务上的实证性能与经典EM相比如何？

主要发现

• IB-EM算法成功避开了标准EM常陷入的局部极值，从而获得更高得分的解。
• 通过优化最小化冗余性与最大化信息量之间的权衡，IB-EM获得的模型似然度高于标准EM。
• 由于通过信息瓶颈权衡结构化地探索解空间，该方法表现出更优的收敛行为。
• 来自UAI 2003会议的实证结果表明，IB-EM在各类具有隐变量的学习任务中始终优于标准EM。
• 当标准EM因初始化不佳或似然函数景观复杂而无法找到高质量解时，IB-EM的性能尤为突出。
• 将信息论原理整合到EM框架中，为隐变量学习提供了一种有原则且高效的方法。