[论文解读] Supervised Feature Selection in Graphs with Path Coding Penalties and Network Flows

Julien Mairal, Bin Yu|arXiv (Cornell University)|Apr 20, 2012

Gene expression and cancer classification参考文献 68被引用 38

一句话总结

本文提出了一种用于有向无环图（DAG）中监督特征选择的路径编码惩罚方法，利用网络流优化高效求解路径选择子问题。该方法实现了可处理的结构化稀疏性，促进形成高度连通的子图，在合成数据、图像和基因组数据上均展现出优于现有方法的连通性与可扩展性。

ABSTRACT

We consider supervised learning problems where the features are embedded in a graph, such as gene expressions in a gene network. In this context, it is of much interest to automatically select a subgraph with few connected components; by exploiting prior knowledge, one can indeed improve the prediction performance or obtain results that are easier to interpret. Regularization or penalty functions for selecting features in graphs have recently been proposed, but they raise new algorithmic challenges. For example, they typically require solving a combinatorially hard selection problem among all connected subgraphs. In this paper, we propose computationally feasible strategies to select a sparse and well-connected subset of features sitting on a directed acyclic graph (DAG). We introduce structured sparsity penalties over paths on a DAG called "path coding" penalties. Unlike existing regularization functions that model long-range interactions between features in a graph, path coding penalties are tractable. The penalties and their proximal operators involve path selection problems, which we efficiently solve by leveraging network flow optimization. We experimentally show on synthetic, image, and genomic data that our approach is scalable and leads to more connected subgraphs than other regularization functions for graphs.

研究动机与目标

• 为解决在图结构化数据中选择稀疏且高度连通的特征子集的挑战，特别是在高维设置下。
• 开发一种计算上可行的正则化方法，以建模图中的长程相互作用，克服现有成对或组合复杂度高的惩罚方法的局限性。
• 通过促进连通分量较少的子图，实现在基因网络分析和图像处理等应用中的可扩展且可解释的特征选择。
• 通过路径编码引入凸松弛，弥合非凸、高度连通的惩罚方法与凸、可处理的优化之间的差距。

提出的方法

• 提出路径编码惩罚，对有向无环图（DAG）中的路径诱导结构化稀疏性，偏好连通的特征子集。
• 将正则化建模为鼓励连通子图的非凸惩罚的凸松弛，实现高效优化。
• 通过在变换图中计算最短路径求解路径选择子问题，利用网络流技术提升效率。
• 采用迭代算法，通过对偶范数和近端算子动态更新活跃路径，确保最多 p 次迭代内收敛。
• 利用基于路径的惩罚的对偶范数推导最优性条件，并指导每轮迭代中新路径的选择。
• 在参数 τ 上采用参数化搜索策略以识别最优路径集合，收敛性由势函数的单调递减保证。

实验结果

研究问题

• RQ1 能否设计一种计算上可行的正则化方法，在不依赖贪心或近似算法的前提下，促进图结构化特征选择中的长程连通性？
• RQ2 如何构建基于路径的惩罚，使其近端算子能够通过网络流技术高效求解？
• RQ3 与现有图稀疏性方法相比，所提出的路径编码惩罚在提升所选特征子集连通性方面有多大的改进？
• RQ4 所提出的方法在具有复杂图结构的真实世界数据（如基因网络或图像特征）上是否具备可扩展性和有效性？

主要发现

• 所提出的路径编码惩罚可高效计算 DAG 中路径上的结构化稀疏性，收敛性保证在最多 p 次迭代内完成。
• 与现有正则化函数相比，该方法显著提升了子图的连通性，尤其在促进大而一致的特征组方面表现突出。
• 在合成数据、图像和基因组数据上的实证结果证实了该方法在保持所选特征连通性方面的可扩展性与优越性能。
• 该算法的最坏情况时间复杂度为 O(p|E|)，即使在大规模图上也具备计算可行性。
• 路径编码惩罚被证明是 Huang 等人（2011）提出的非凸惩罚的凸松弛，提供了具有类似理论保证的可处理替代方案。
• 利用网络流优化进行路径选择，确保了近端算子可高效计算，从而支持在高维设置下的实际部署。