[论文解读] On Universal Features for High-Dimensional Learning and Inference

Shao‐Lun Huang, Anuran Makur+2 more|arXiv (Cornell University)|Nov 20, 2019

Neural Networks and Applications参考文献 123被引用 31

一句话总结

本文提出了一种统一的信息几何框架，用于识别高维数据中的通用低维特征，展示了典型相关性、信息瓶颈和奇异值分解等关键概念之间的局部等价性。该框架揭示了这些方法如何共同实现最优推理与学习，其应用涵盖神经网络、协同过滤和半监督学习。

ABSTRACT

We consider the problem of identifying universal low-dimensional features from high-dimensional data for inference tasks in settings involving learning. For such problems, we introduce natural notions of universality and we show a local equivalence among them. Our analysis is naturally expressed via information geometry, and represents a conceptually and computationally useful analysis. The development reveals the complementary roles of the singular value decomposition, Hirschfeld-Gebelein-Rényi maximal correlation, the canonical correlation and principle component analyses of Hotelling and Pearson, Tishby's information bottleneck, Wyner's common information, Ky Fan $k$-norms, and Brieman and Friedman's alternating conditional expectations algorithm. We further illustrate how this framework facilitates understanding and optimizing aspects of learning systems, including multinomial logistic (softmax) regression and the associated neural network architecture, matrix factorization methods for collaborative filtering and other applications, rank-constrained multivariate linear regression, and forms of semi-supervised learning.

研究动机与目标

• 建立高维数据中识别通用低维特征以用于推理任务的理论基础。
• 在统一的信息几何框架下，整合SVD、典型相关性以及信息瓶颈等多样化的统计与机器学习技术。
• 证明在不同学习场景下，特征提取中各类通用性概念之间的局部等价性。
• 展示该框架如何增强对学习系统（包括神经网络和协同过滤）的理解与优化。
• 将特征提取方法的适用性扩展至秩约束回归与半监督学习。

提出的方法

• 通过信息几何原理形式化通用性，将特征与指数族中的充分统计量联系起来。
• 采用Hirschfeld-Gebelein-Rényi最大相关性与Ky Fan $k$-范数，刻画依赖关系与降维特性。
• 将Wyner的公共信息与Tishby的信息瓶颈作为所提框架中的特例进行整合。
• 应用交替条件期望（ACE）算法，迭代优化特征变换。
• 利用典型相关性分析与主成分分析，识别共享的低维子空间。
• 建立特征提取与充分统计量之间的几何对偶性，实现有原则的降维。

实验结果

研究问题

• RQ1 在高维学习与推理中，什么是通用的低维特征？
• RQ2 从统一的信息几何视角出发，典型相关性、信息瓶颈与SVD之间有何关联？
• RQ3 能否通过单一框架统一PCA、CCA与ACE等多样化的特征提取技术？
• RQ4 Ky Fan $k$-范数与公共信息在定义通用特征中扮演何种角色？
• RQ5 该框架如何提升softmax回归与协同过滤等模型的优化性能？

主要发现

• 本文建立了多种特征提取中通用性概念的局部等价性，包括基于典型相关性、信息瓶颈与SVD的通用性。
• 证明信息瓶颈与公共信息是根植于互信息与$k$-范数的更广泛几何框架的特例。
• 该框架揭示，最优特征空间对应于联合数据表示中主导奇异向量张成的子空间。
• 表明多项式逻辑回归及其神经网络对应模型可被解释为该通用特征框架的实例。
• 通过典型相关性与秩约束对齐特征空间，该方法在协同过滤中提升了性能。
• ACE算法在所提出的几何约束下被证明收敛至最优特征变换，验证了其在非线性特征学习中的作用。