[论文解读] Network Lasso: Clustering and Optimization in Large Graphs

David Hallac, Jure Leskovec+1 more|PubMed|Jul 1, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 56

一句话总结

本文提出了 Network Lasso，一种凸优化框架，通过最小化节点特定成本与基于边的正则化项的组合，统一了大规模图上的聚类与优化，其中正则化项可促进相邻节点之间的平滑性。采用基于 ADMM 的分布式算法，该方法实现了全局收敛，并在二分类、房价预测和事件检测任务中优于基线方法，其中凸版本的表现优于非凸和泊松基方法。

ABSTRACT

Convex optimization is an essential tool for modern data analysis, as it provides a framework to formulate and solve many problems in machine learning and data mining. However, general convex optimization solvers do not scale well, and scalable solvers are often specialized to only work on a narrow class of problems. Therefore, there is a need for simple, scalable algorithms that can solve many common optimization problems. In this paper, we introduce the <i>network lasso</i>, a generalization of the group lasso to a network setting that allows for simultaneous clustering and optimization on graphs. We develop an algorithm based on the Alternating Direction Method of Multipliers (ADMM) to solve this problem in a distributed and scalable manner, which allows for guaranteed global convergence even on large graphs. We also examine a non-convex extension of this approach. We then demonstrate that many types of problems can be expressed in our framework. We focus on three in particular - binary classification, predicting housing prices, and event detection in time series data - comparing the network lasso to baseline approaches and showing that it is both a fast and accurate method of solving large optimization problems.

研究动机与目标

• 解决通用凸优化求解器在大规模图结构问题上的可扩展性限制。
• 开发一种统一框架，通过广义组 lasso 公式化，实现在图上同时进行聚类与优化。
• 提供一种具有全局收敛保证的分布式、可扩展算法，适用于大规模图。
• 在多样化的机器学习与数据挖掘应用中，证明该框架的有效性。

提出的方法

• 提出网络 lasso 问题作为凸优化框架，其中在惩罚连接节点变量差异的正则化项约束下，最小化节点成本。
• 对边差值使用加权 l1-范数惩罚，公式为 $ \lambda \sum_{(j,k)\in\mathcal{E}} w_{jk} \|x_j - x_k\|_2 $，以促进图上的平滑性与聚类。
• 采用增广拉格朗日乘子法（Alternating Direction Method of Multipliers, ADMM）以分布式、可扩展方式求解问题，实现全局收敛。
• 每个节点作为代理，通过与邻居迭代交换消息来更新其局部变量和对偶变量。
• 提出一种非凸扩展，使用不同的惩罚函数 $ \phi(\|x_j - x_k\|_2) $，尽管缺乏全局最优性保证，但可提升实际性能。
• 针对常见目标函数实现闭式更新，以增强效率与可扩展性。

实验结果

研究问题

• RQ1 能否设计一种统一的凸优化框架，以在大规模图上同时实现聚类与优化？
• RQ2 如何有效将分布式算法（如 ADMM）适配于求解大规模网络 lasso 问题，并保证收敛性？
• RQ3 在网络 lasso 与基线方法在真实世界应用（如二分类、房价预测和事件检测）中的表现如何比较？
• RQ4 在实际应用中，使用非凸惩罚函数对性能与收敛性有何影响？
• RQ5 该框架能否扩展以支持自适应边权重及其他超越标准网络 lasso 形式的损失函数？

主要发现

• 凸网络 lasso 方法仅用 146 个预测就检测到了全部 30 个真实事件，显著优于泊松基线方法（需 264 个预测才能检测相同数量的事件）。
• 非凸扩展在性能上与凸方法相当，表明其对惩罚函数选择具有鲁棒性。
• 在房价预测任务中，网络 lasso 通过边正则化利用空间平滑性，实现了比基线方法更高的准确率。
• 通过分布式 ADMM 实现，该方法在大规模图上展现出可扩展性与全局收敛性。
• 通过建模时间动态并要求同时具备高流入与高流出计数才能触发事件，该框架有效减少了事件检测中的误报。
• 结果表明，网络 lasso 是机器学习与网络分析中大规模优化的实用且高效工具。