[论文解读] SDLS: a Matlab package for solving conic least-squares problems

Didier Henrion, Jérôme Malick|ArXiv.org|Sep 17, 2007

Matrix Theory and Algorithms参考文献 2被引用 6

一句话总结

SDLS 是一个免费、用户友好的 MATLAB 工具箱，通过对偶拟牛顿优化求解凸锥最小二乘问题。它通过将矩阵投影到半定锥上，高效计算给定矩阵的最近相关性矩阵，利用平滑且可扩展的算法确保半正定性与对角线约束，并内置收敛性监测功能。

ABSTRACT

This document is an introduction to the Matlab package SDLS (Semi-Definite Least-Squares) for solving least-squares problems over convex symmetric cones. The package is shortly presented through the addressed problem, a sketch of the implemented algorithm, the syntax and calling sequences, a simple numerical example and some more advanced features. The implemented method consists in solving the dual problem with a quasi-Newton algorithm. We note that SDLS is not the most competitive implementation of this algorithm: efficient, robust, commercial implementations are available (contact the authors). Our main goal with this Matlab SDLS package is to provide a simple, user-friendly software for solving and experimenting with semidefinite least-squares problems. Up to our knowledge, no such freeware exists at this date.

研究动机与目标

• 提供一个简单、开源的 MATLAB 工具，用于在凸对称锥上求解半定最小二乘问题。
• 使研究人员和实践者能够在不依赖商业软件的情况下，实验锥最小二乘优化。
• 支持实际应用，例如通过恢复半正定性与对角线约束，实现相关性矩阵校准。
• 提供透明、易于使用的实现，其语法与 SeDuMi 类似，但求解的是不同类别的问题（二次目标 vs. 线性目标）。
• 通过简洁的语法和内置的收敛性诊断，促进数值实验。

提出的方法

• 该方法使用拟牛顿 BFGS 算法求解原始锥最小二乘问题的对偶问题。
• 对偶目标函数为 f(y) = ½‖p_K(c + Aᵀy)‖² − bᵀy，其中 p_K 表示对锥 K 的正交投影。
• 该算法利用 MATLAB 内置的 eig 函数进行特征值分解，并高效处理稀疏矩阵。
• 锥 K 通过一个结构体指定，包含字段 K.f（自由变量）、K.l（非负变量）、K.q（二阶锥约束）和 K.s（半定矩阵块）。
• 实现使用 HANSO 的 BFGS 求解器，并包含可选的正则化与缩放以提高数值稳定性。
• 通过残差范数 norm(A*x - b) 监测收敛性，其值等于对偶目标函数的梯度范数。

实验结果

研究问题

• RQ1 能否开发一个简单、免费的 MATLAB 工具箱，以用户友好的语法求解锥最小二乘问题？
• RQ2 在实际应用中，对偶拟牛顿方法在求解半定最小二乘问题方面的有效性如何？
• RQ3 SDLS 在恢复受损相关性矩阵的半正定性的同时，能在多大程度上保持对角线约束？
• RQ4 在非商业实现中，简洁性与性能之间的数值权衡是什么？
• RQ5 正则化与缩放等调参对收敛性与解的质量有何影响？

主要发现

• SDLS 通过将给定矩阵投影到半定锥与单位对角线定义的仿射子空间的交集中，成功计算出最接近的相关性矩阵。
• 在示例中，原始矩阵 C 的最小特征值为 -0.0349，表明其失去了半正定性，而解 X 的最小特征值为 3.0097e-16，确认了其在数值上的半正定性。
• 当残差范数 norm(A*x - b) 小于或等于 max(1, ||b||) × eps 时，算法实现收敛，其中默认相对精度 eps = 1e-6。
• 解处的梯度范数（等于残差范数）被用作质量指标，应低于指定容差。
• 当仿射约束与锥相切时，正则化（例如 pars.reg = 1e-6）可改善性能，表明可能存在病态问题。
• 该工具箱通过 info 结构体提供详细输出，包括函数值、梯度、海森近似与 CPU 时间，有助于验证解的正确性。