[论文解读] Nonparametric Canonical Correlation Analysis

Tomer Michaeli, Weiran Wang+1 more|arXiv (Cornell University)|Nov 16, 2015

Face and Expression Recognition参考文献 38被引用 39

一句话总结

该论文提出非参数典型相关分析（NCCA），一种计算高效的多视图数据非线性投影方法，可找到最大相关性投影，且无需将函数限制在再生核希尔伯特空间中。通过利用由联合密度导出的算子的奇异值分解，NCCA 避免了核矩阵求逆，其性能优于核典型相关分析（KCCA），并可与深度典型相关分析（DCCA）相媲美，同时在中等规模数据集上显著更快。

ABSTRACT

Canonical correlation analysis (CCA) is a classical representation learning technique for finding correlated variables in multi-view data. Several nonlinear extensions of the original linear CCA have been proposed, including kernel and deep neural network methods. These approaches seek maximally correlated projections among families of functions, which the user specifies (by choosing a kernel or neural network structure), and are computationally demanding. Interestingly, the theory of nonlinear CCA, without functional restrictions, had been studied in the population setting by Lancaster already in the 1950s, but these results have not inspired practical algorithms. We revisit Lancaster's theory to devise a practical algorithm for nonparametric CCA (NCCA). Specifically, we show that the solution can be expressed in terms of the singular value decomposition of a certain operator associated with the joint density of the views. Thus, by estimating the population density from data, NCCA reduces to solving an eigenvalue system, superficially like kernel CCA but, importantly, without requiring the inversion of any kernel matrix. We also derive a partially linear CCA (PLCCA) variant in which one of the views undergoes a linear projection while the other is nonparametric. Using a kernel density estimate based on a small number of nearest neighbors, our NCCA and PLCCA algorithms are memory-efficient, often run much faster, and perform better than kernel CCA and comparable to deep CCA.

研究动机与目标

• 开发一种实用的非参数典型相关分析算法，避免将非线性投影限制在如RKHS等预定义函数类中。
• 利用Lancaster在1950年代关于总体层面非线性典型相关分析的理论成果，构建一种可扩展且高效的算法。
• 通过避免核矩阵求逆和端到端训练，解决核典型相关分析和深度典型相关分析的计算低效问题。
• 提出一种部分线性典型相关分析变体（PLCCA），其中一个视图使用非线性投影，另一个视图使用线性投影。
• 在真实世界数据集上展示SOTA性能，同时提升速度和内存效率。

提出的方法

• NCCA将最优非线性投影表述为由两视图联合密度定义的算子的奇异向量。
• 该方法使用基于k近邻的核密度估计来估计总体密度，避免显式计算核矩阵。
• 该解简化为涉及基于视图间点对互信息的核的特征值系统。
• PLCCA在总体设定下可导出闭式解，其中一个视图使用非线性预测器，另一个视图使用线性预测器。
• 该算法使用非线性回归从数据中估计最优非线性预测器，同时保持计算效率。
• 该方法避免核矩阵求逆，从而相比KCCA和DCCA实现更快的训练速度和更低的内存占用。

实验结果

研究问题

• RQ1 Lancaster关于无约束非线性典型相关分析的理论框架能否转化为一种实用且可扩展的算法？
• RQ2 能否设计一种非参数典型相关分析方法，无需核矩阵求逆或深度网络训练？
• RQ3 NCCA是否能在显著更快且更节省内存的前提下，实现与深度典型相关分析相当的性能？
• RQ4 部分线性典型相关分析变体能否在建模灵活性与计算效率之间提供良好的折中？
• RQ5 密度估计方法的选择（如k-NN KDE）如何影响NCCA的性能与可扩展性？

主要发现

• 在MNIST数据集上，NCCA实现了近乎完美的类别分离，聚类准确率和分类性能与深度典型相关分析相当。
• 在MNIST的5万张子集上，NCCA的测试错误率为4.7%，优于KCCA（5.9%），并接近DCCA（2.9%）。
• 由于避免了核矩阵求逆和端到端训练，NCCA在速度和内存效率方面显著优于KCCA和DCCA。
• PLCCA在真实世界数据上的表现与DCCA相当，且显著优于CCA和KCCA，尤其当某一视图本质上为线性时表现更优。
• 即使在训练数据减少至完整MNIST训练集的10%时，NCCA的性能仍优于KCCA，表现出对数据量减少的鲁棒性。
• 采用基于k-NN的KDE可实现内存效率，而使用近似最近邻搜索可进一步加速该方法。