[论文解读] The information bottleneck method

Naftali Tishby, Fernando C. N. Pereira+1 more|ArXiv.org|Apr 24, 2000

Wireless Communication Security Techniques参考文献 4被引用 1,852

一句话总结

该论文提出了信息瓶颈方法，这是一种变分原理，通过保留与相关变量 Y 的最大信息量，将信号 X 压缩为紧凑表示 X̃。该方法使用互信息构建约束优化问题，通过广义 Blahut-Arimoto 算法推导出自洽方程，并证明了收敛性，为特征选择、学习和信号处理提供了一个统一框架，无需预设失真函数。

ABSTRACT

A Python package for working with the Information Bottleneck [Tishby, Pereira, Bialek 2001] and the Deterministic (and Generalized) Information Bottleneck [Strouse and Schwab 2016]. Embo is especially geared towards the analysis of concrete, finite-size data sets. See on PyPI <strong>How to cite:</strong> Piasini, E., Filipowicz, A.L.S., Levine, J. and Gold, J.I., 2021. Embo: a Python package for empirical data analysis using the Information Bottleneck. <em>Journal of Open Research Software</em>, 9(1), p.10. DOI: http://doi.org/10.5334/jors.322

研究动机与目标

• 形式化信号中‘相关’或‘有意义’信息的概念，超越香农原始通信导向的信息论。
• 解决模式识别中特征选择的根本问题，其中相关特征的选择往往具有任意性或未知性。
• 开发一种基于信息论的系统性方法，用于有损压缩，以保留关于目标变量 Y 的信息，而非依赖于任意的失真度量。
• 通过从 X 和 Y 的联合统计特性中推导出自洽优化框架，推广率失真理论。
• 通过单一变分原理，为学习、预测、滤波和神经编码等多样化问题提供统一框架。

提出的方法

• 提出一种变分原理，通过最大化压缩表示 X̂ 与目标变量 Y 之间的互信息 I(X̃; Y)，同时约束互信息 I(X; X̂) 以控制压缩率。
• 将信息瓶颈泛函定义为 F = I(X; X̂) - β I(X̂; Y)，其中 β 作为拉格朗日乘子，平衡压缩与相关性。
• 使用变分法推导出从 X → X̂ 和 X̂ → Y 映射的自洽方程，通过交替优化求解。
• 引入一种类似于 Blahut-Arimoto 算法的迭代重估计算法，通过证明每一步最小化自由能泛函，证明其收敛性。
• 使用 Kullback-Leibler 散度 D_KL[p(y|x) || p(y|X̂)] 作为失真度量，该度量自然地从 X 和 Y 的联合分布中产生。
• 通过逐步提高 β 实现确定性退火，系统探索 (I(X;X̂), I(X̂;Y)) 信息平面上的解族，揭示临界 β 值处的相变。

实验结果

研究问题

• RQ1 如何在不依赖任意失真函数的前提下，定义并从信号 X 中提取与目标变量 Y 相关的信息？
• RQ2 能否推广率失真理论，使其能基于 X 和 Y 之间的统计关系自动确定相关特征？
• RQ3 在最小化 X 的描述长度的同时，保留关于 Y 的最大信息量，最优表示 X̂ 的结构是什么？
• RQ4 在不同压缩率下，信息瓶颈方程的解如何表现？会发生何种相变？
• RQ5 信息瓶颈原理能否将学习、预测和信号处理等多样化问题统一于单一理论框架之下？

主要发现

• 信息瓶颈方法为寻找能最大程度保留关于 Y 的信息的压缩表示 X̂ 提供了自洽解，该解源自 X 和 Y 的联合分布。
• 迭代算法通过交替优化 X → X̂ 和 X̂ → Y 映射实现收敛，每一步均最小化凸自由能泛函。
• 失真度量 d(x, X̂) = D_KL[p(y|x) || p(y|X̂)] 自然地从数据统计中产生，无需预设失真函数。
• 解在 (I(X;X̂), I(X̂;Y)) 信息平面上形成一族以 β 参数化的曲线，临界 β 值处出现二阶相变，表明存在分层特征提取。
• 该方法支持确定性退火，可系统探索压缩与相关性之间的权衡，解在临界 β 值处发生分叉。
• 该框架具有通用性，可应用于语义聚类、文档分类、神经编码和蛋白质结构预测等多种领域，已在后续工作中得到验证。