[论文解读] The Boosted DC Algorithm for nonsmooth functions

Francisco J. Aragón Artacho, Phan Tu Vuong|arXiv (Cornell University)|Dec 14, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 6

一句话总结

本文提出了一种非光滑差分凸（DC）优化的提升型DC算法（BDCA）扩展，用于最小化光滑与非光滑凸函数之差的DC函数。通过引入具有自适应步长选择的灵活线搜索，BDCA在收敛速度上优于经典DCA，在聚类问题中实现最高16倍加速，在多维尺度缩放问题中实现3倍加速，且在Kurdyka–Łojasiewicz性质下保证全局收敛。

ABSTRACT

The Boosted Difference of Convex functions Algorithm (BDCA) was recently proposed for minimizing smooth difference of convex (DC) functions. BDCA accelerates the convergence of the classical Difference of Convex functions Algorithm (DCA) thanks to an additional line search step. The purpose of this paper is twofold. Firstly, to show that this scheme can be generalized and successfully applied to certain types of nonsmooth DC functions, namely, those that can be expressed as the difference of a smooth function and a possibly nonsmooth one. Secondly, to show that there is complete freedom in the choice of the trial step size for the line search, which is something that can further improve its performance. We prove that any limit point of the BDCA iterative sequence is a critical point of the problem under consideration, and that the corresponding objective value is monotonically decreasing and convergent. The global convergence and convergent rate of the iterations are obtained under the Kurdyka-Lojasiewicz property. Applications and numerical experiments for two problems in data science are presented, demonstrating that BDCA outperforms DCA. Specifically, for the Minimum Sum-of-Squares Clustering problem, BDCA was on average sixteen times faster than DCA, and for the Multidimensional Scaling problem, BDCA was three times faster than DCA.

研究动机与目标

• 将提升型DC算法（BDCA）扩展至处理非光滑DC函数，其中目标函数为一个光滑凸函数与一个可能非光滑的凸函数之差。
• 在Kurdyka–Łojasiewicz性质下，建立所提BDCA的全局收敛性与收敛速率保证。
• 在涉及不可微DC目标函数的实际数据科学问题中，展示BDCA相较于经典DCA的优越性。
• 表明线搜索中试步长的选择具有灵活性，可自适应选择以进一步提升性能。

提出的方法

• 算法使用来自DCA迭代的下降方向，即使在非光滑分量不可微的点上也成立，从而确保目标函数的充分下降。
• 沿该下降方向执行线搜索步骤，使用试步长 $\overline{\lambda}_k$，其可基于先前迭代结果自适应选择。
• 回溯线搜索确保目标函数的充分下降，实际中使用回溯参数 $\beta \approx 0.1$。
• 该方法应用于两个关键数据科学问题：最小平方和聚类与多维尺度缩放，二者均被表述为DC规划问题。
• 在Kurdyka–Łojasiewicz不等式下建立全局收敛性，强版本不等式下提供收敛速率分析。
• 提出 $\overline{\lambda}_k$ 的自适应策略，当实现充分下降时动态增加步长，从而提升性能。

实验结果

研究问题

• RQ1 能否将提升型DC算法推广至处理非光滑DC函数，其中非光滑分量不可微？
• RQ2 当目标函数不可微时，BDCA中的线搜索步骤是否仍有效并能保证充分下降？
• RQ3 试步长 $\overline{\lambda}_k$ 的选择是否可灵活且自适应，以提升收敛速度？
• RQ4 在标准假设（如Kurdyka–Łojasiewicz性质）下，所提BDCA的全局收敛行为如何？
• RQ5 在涉及不可微DC目标函数的实际数据科学应用中，BDCA与DCA的性能相比如何？

主要发现

• 在求解最小平方和聚类问题时，BDCA在计算时间和迭代次数上均比DCA平均快16倍。
• 在多维尺度缩放问题中，BDCA在运行时间和迭代次数上均比DCA平均快三倍。
• 采用 $\overline{\lambda}_k$ 的自适应策略使BDCA性能相比使用固定步长实现两倍加速。
• 所提BDCA在Kurdyka–Łojasiewicz性质下确保目标值单调下降并收敛至临界点。
• 数值实验表明，即使在DCA偶尔表现更优的情况下，BDCA仍表现出更强的鲁棒性与一致的性能提升。
• 对 $\overline{\lambda}_k$ 选择的灵活性使算法能够利用历史信息，提升收敛速度而不牺牲收敛保证。