[论文解读] The Sparse Eigenvalue Problem

Bharath K. Sriperumbudur, David A. Torres+1 more|arXiv (Cornell University)|Jan 12, 2009

Sparse and Compressive Sensing Techniques参考文献 44被引用 3

一句话总结

本文提出了一种通过学生t分布的负对数似然来实现稀疏特征值问题中基数约束的更紧逼近，将问题表述为通过分治最小化法求解的d.c.规划，以实现全局收敛。该方法在基因表达和文档检索任务中实现了改进的稀疏性和性能，适用于稀疏PCA、CCA和FDA。

ABSTRACT

In this paper, we consider the sparse eigenvalue problem wherein the goal is to obtain a sparse solution to the generalized eigenvalue problem. We achieve this by constraining the cardinality of the solution to the generalized eigenvalue problem and obtain sparse principal component analysis (PCA), sparse canonical correlation analysis (CCA) and sparse Fisher discriminant analysis (FDA) as special cases. Unlike the ℓ1-norm approximation to the cardinality constraint, which previous methods have used in the context of sparse PCA, we propose a tighter approximation that is related to the negative log-likelihood of a Student’s t-distribution. The problem is then framed as a d.c. (difference of convex functions) program and is solved as a sequence of convex programs by invoking the majorization-minimization method. The resulting algorithm is proved to exhibit global convergence behavior. The performance of the algorithm is empirically demonstrated on both sparse PCA (finding few relevant genes that explain as much variance as possible in a high-dimensional gene dataset) and sparse CCA (cross-language document retrieval and vocabulary selection for music retrieval) applications.

研究动机与目标

• 为解决广义特征值问题中获取稀疏解的挑战，以实现降维和特征选择。
• 开发一种比ℓ1-范数正则化更紧的基数约束逼近方法，以提升稀疏性和可解释性。
• 通过约束广义特征值问题，将稀疏PCA、CCA和FDA统一于同一框架下。
• 通过d.c.规划和分治最小化法，确保优化算法的全局收敛性。
• 在高维生物数据和文本数据上对方法进行实证验证，展示其优越性能。

提出的方法

• 该方法用基于学生t分布负对数似然的更紧代理函数替代ℓ1-范数对基数的逼近。
• 将稀疏特征值问题重新表述为d.c.规划，即两个凸函数之差的形式。
• 采用分治最小化算法，通过迭代求解一系列凸子问题以确保收敛。
• 通过在每一步构建一个凸上界来主导非凸目标函数，从而保持全局收敛性。
• 通过将相同的优化策略应用于其各自的广义特征值公式，该框架自然扩展至稀疏PCA、稀疏CCA和稀疏FDA。
• 该方法被应用于真实世界数据集，包括高维基因表达数据和跨语言文档检索任务。

实验结果

研究问题

• RQ1 与ℓ1-范数方法相比，更紧的基数约束逼近是否能提升稀疏特征值问题中的稀疏性和性能？
• RQ2 所提出的d.c.规划方法结合分治最小化是否能确保稀疏特征值计算中的全局收敛？
• RQ3 该方法在基因选择和跨语言文档检索等实际应用中的表现如何？
• RQ4 在PCA、CCA和FDA中，基于学生t分布的逼近在诱导稀疏性方面相较于ℓ1-范数有多大优势？
• RQ5 统一框架能否在单一优化范式下有效处理多样化的稀疏学习任务？

主要发现

• 所提出的方法通过使用比ℓ1-范数更紧的基数逼近，在稀疏PCA中实现了更好的稀疏性和可解释性。
• 分治最小化算法确保了全局收敛，为优化稳定性提供了理论保证。
• 实证结果表明，该方法在从高维基因表达数据中识别相关基因方面表现更优。
• 该方法在通过稀疏CCA实现的跨语言文档检索和音乐词汇选择任务中表现出显著有效性。
• 在广义特征值问题的背景下，使用学生t分布可实现比ℓ1正则化更精确的稀疏性逼近。
• 该框架成功推广至稀疏PCA、CCA和FDA，为稀疏子空间学习提供了一体化方法。