[论文解读] Relevant sparse codes with variational information bottleneck

Matthew Chalk, Olivier Marre+1 more|arXiv (Cornell University)|May 24, 2016

Blind Source Separation Techniques参考文献 18被引用 50

一句话总结

本文提出了一种变分推理方法，用于信息瓶颈（IB）框架，通过在最大化与相关性变量 Y 的信息量的同时压缩输入 X，实现学习稀疏且相关的表示。利用变分下界和核化方法，该方法能高效处理高维、非高斯数据，并恢复出能共同解释 X 和 Y 的稀疏特征，在感知填充和数字重建等任务中，性能优于标准 IB 和稀疏编码模型。

ABSTRACT

In many applications, it is desirable to extract only the relevant aspects of data. A principled way to do this is the information bottleneck (IB) method, where one seeks a code that maximizes information about a 'relevance' variable, Y, while constraining the information encoded about the original data, X. Unfortunately however, the IB method is computationally demanding when data are high-dimensional and/or non-gaussian. Here we propose an approximate variational scheme for maximizing a lower bound on the IB objective, analogous to variational EM. Using this method, we derive an IB algorithm to recover features that are both relevant and sparse. Finally, we demonstrate how kernelized versions of the algorithm can be used to address a broad range of problems with non-linear relation between X and Y.

研究动机与目标

• 解决在高维和非高斯数据设置下信息瓶颈（IB）方法的计算不可行性问题。
• 开发一种可处理、可扩展的算法，通过最大化目标变量 Y 的相关性并压缩输入 X，学习稀疏表示。
• 通过核方法将 IB 框架扩展至非线性问题，实现 X 和 Y 之间共享潜在特征的发现。
• 通过相关性变量 Y 提供任务相关的监督，为稀疏编码和 infomax 模型提供一种有原则的替代方案。
• 展示该方法在不同任务间的泛化能力，并利用学习到的稀疏特征模拟感知现象（如填充）。

提出的方法

• 提出 IB 目标函数的变分下界，以在精确推理不可行时实现可计算的优化。
• 采用迭代变分 EM 类似算法：首先优化变分近似 q(y|r) 和 q(r)，然后优化编码参数 Θ（即 p(r|x; Θ)）。
• 采用受限的变分分布族，如 q(y|r) 使用线性高斯分布，q(r) 使用稀疏先验，以确保计算可处理性并诱导稀疏性。
• 对输入空间应用核化，通过核函数将 X 映射到更高维特征空间，实现非线性特征发现。
• 推导出一种核化 IB 算法，其中展开系数对应一种核岭回归形式，实现跨任务的泛化能力。
• 在潜在码 r 上使用稀疏先验（如学生 t 分布），以促进能同时解释 X 和 Y 的稀疏表示。

实验结果

研究问题

• RQ1 变分近似方法是否能有效学习高维、非高斯数据中的稀疏且相关的特征？
• RQ2 引入相关性变量 Y 后，与标准稀疏编码模型相比，所学习表示的结构和稀疏性有何变化？
• RQ3 核化 IB 在多大程度上能恢复输入 X 与相关性 Y 之间的非线性关系？与核 CCA 或 KRR 相比表现如何？
• RQ4 学习到的稀疏特征是否能支持遮挡任务中的感知填充现象？
• RQ5 瓶颈参数 γ 如何控制所学习表示中压缩与相关性之间的权衡？

主要发现

• 变分 IB 方法成功学习到稀疏且相关的特征，在建模感知填充方面优于标准 IB 和稀疏编码模型，当遮挡区域和可见区域同时存在时，响应达到峰值。
• 在 USPS 手写数字数据集上，稀疏核 IB 算法恢复出的解码滤波器延伸至遮挡区域，且与实际数字高度相似，而基线方法则无法实现。
• 稀疏 kIB 模型的响应分布显著比高斯 kIB 更具重尾特征，表明其表示更稀疏且更具选择性。
• 稀疏 kIB 学习到的特征具有良好的跨任务泛化能力，即使输入-输出映射发生变化，也能从 X 重建 Y，而 KRR 缺乏此类中间表示。
• 该方法通过瓶颈参数 γ 自动确定特征的数量和尺度，而 CCA 需要预先指定。
• 该框架自然按响应方差对特征进行排序，提供清晰的相关性层次结构，而标准稀疏编码或 infomax 模型不具备此特性。