[论文解读] Solving Interpretable Kernel Dimension Reduction

Chieh Wu, Jared Miller+3 more|arXiv (Cornell University)|Sep 6, 2019

Neural Networks and Applications参考文献 40被引用 4

一句话总结

本文通过证明一类广泛核函数（而不仅限于高斯核）的理论收敛性保证，扩展了可解释核降维（IKDR）的迭代谱方法（ISM）。通过为该类中的每个核引入一个代理矩阵Φ，ISM 实现了基于特征分解的快速优化，同时通过原始特征的线性投影保持了可解释性，显著拓宽了ISM在监督、无监督和半监督学习范式中的适用性。

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $Φ$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/chieh-neu/ISM_supervised_DR}.

研究动机与目标

• 为克服ISM此前仅限于高斯核的局限性，将其实现理论收敛性保证推广至更广泛的核函数类别。
• 建立统一框架，使所提出家族中的任意核均可通过代理矩阵Φ表示，从而实现基于特征分解的高效优化。
• 证明该家族内核的锥组合同样可由对应Φ矩阵表示，从而将ISM的适用性扩展至混合核方法。
• 通过揭示不同学习范式（监督、无监督、半监督及替代聚类）共享同一优化目标，使ISM能够解决各类IKDR问题。
• 提供公开可获取的实现代码，以确保可复现性并促进在各类应用中的采用。

提出的方法

• 引入一类满足两个条件的新核函数家族：(1) 核函数可表示为对称半正定矩阵β的函数；(2) 核函数具有二阶可微性。
• 为该家族中的每个核定义一个代理矩阵Φ，使得最优投影由Φ的主导特征向量给出，从而实现基于特征分解的快速优化。
• 证明该家族中核函数的锥组合同样可生成有效的Φ矩阵，且该矩阵为各独立Φ矩阵的相同锥组合。
• 将多种学习范式（监督、无监督、半监督、聚类）下的IKDR目标统一为一个可通过ISM求解的共同优化问题。
• 在ISM算法中使用Φ的特征值作为收敛性的代理指标，必要时以主角作为最终收敛性检查的备选方案。
• 将优化约束从Stiefel流形放宽至Grassmann流形，确保投影矩阵所张成子空间的收敛性。

实验结果

研究问题

• RQ1 ISM的理论收敛性保证能否从高斯核扩展至更广泛的核函数类别？
• RQ2 何种核函数需满足何种条件，才能构造出代理矩阵Φ，使得其主导特征向量可给出最优IKDR投影？
• RQ3 ISM家族中核函数的锥组合是否也能通过对应的Φ矩阵表示，从而保持ISM优化框架的完整性？
• RQ4 在多类学习范式（监督、无监督、半监督、聚类）中，ISM在多大程度上可通过共享优化目标实现统一？
• RQ5 如何在不产生高计算成本的前提下，高效监控ISM的收敛性，特别是在使用特征分解时？

主要发现

• ISM方法在理论上被扩展至满足特定函数形式与可微性条件的一类广泛核函数，显著提升了其适用范围。
• 该家族中的每个核均可构造出代理矩阵Φ，使得最优投影可通过Φ的主导特征向量快速获得，实现高效特征分解。
• 该家族中核函数的锥组合同样可生成有效的Φ矩阵，使ISM可应用于混合核方法，且不损失理论保证。
• 多种学习范式（监督、无监督、半监督、替代聚类）的统一优化目标可由ISM求解，揭示了此前未被识别的共同结构。
• 实验结果表明，ISM在收敛速度和目标函数代价方面优于先前方法（如DG），在600个样本的数据集上，运行时间从2天缩短至2秒以内。
• 该方法通过在核映射前投影至低维子空间，保持了可解释性，使得投影矩阵能够揭示原始特征的线性组合。