[论文解读] Unit balls of constant volume: which one has optimal representation?

Jean B. Lasserre|arXiv (Cornell University)|Aug 6, 2014

Advanced Optimization Algorithms Research参考文献 14被引用 3

一句话总结

本文研究具有单位体积子水平集的偶次齐次多项式中，哪一种的系数表示最稀疏或最紧凑。结果表明，最小化系数的 $\ell_1$-范数可得到 $L_d$-范数多项式 $\sum x_i^d$，该多项式为最优且稀疏；相比之下，最小化 $\ell_2$-范数则得到所有系数非零的稠密多项式，凸显了在此几何优化背景下 $\ell_1$ 与 $\ell_2$ 正则化之间的根本差异。

ABSTRACT

In the family of unit balls with constant volume we look at the ones whose algebraic representation has some extremal property. We consider the family of nonnegative homogeneous polynomials of even degree $d$ whose sublevel set $\G=\{\x: g(\x)\leq 1\}$ (a unit ball) has same fixed volume and want to find in this family the one that minimizes either the $\ell_1$-norm or the $\ell_2$-norm of its vector of coefficients. Equivalently, among all degree-$d$ polynomials of constant $\ell_1-$ or $\ell_2$-norm, which one minimizes the volume of its level set $\G$. We first show that in both cases this is a convex optimization problem with a unique optimal solution $g^*_1$ and $g^*_2$ respectively. We also show that $g^*_1$ is the $L_p$-norm polynomial $\x\mapsto\sum_{i=1}^n x_i^{p}$, thus recovering a parsimony property of the $L_p$-norm via $\ell_1$-norm minimization. (Indeed $n=\Vert g^*_1\Vert_0$ is the minimum number of non-zero coefficient for $\G$ to have finite volume.) This once again illustrates the power and versatility of the $\ell_1$-norm relaxation strategy in optimization when one searches for an optimal solution with parsimony properties. Next we show that $g^*_2$ is not sparse at all (and so differs from $g^*_1$) but is still a sum of $p$-powers of linear forms. We also characterize the unique optimal solution of the same problem where one searches for an SOS homogeneous polynomial that minimizes the trace of its associated (psd) Gram matrix, hence aiming at finding a solution which is a sum of a few squares only. Finally, we also extend these results to generalized homogeneous polynomials, which includes $L_p$-norms when $0

研究动机与目标

• 确定具有固定单位体积子水平集的非负偶次齐次多项式 $g$ 中，其系数向量的 $\ell_1$-或 $\ell_2$-范数最小者。
• 研究 $\ell_1$-范数松弛方法是否能恢复已知的 $L_d$-范数单位球 $\sum x_i^d \leq 1$ 所对应的稀疏性。
• 分析在 $\ell_1$ 和 $\ell_2$ 最小化下最优解的结构特性，特别是稀疏性与系数分布。
• 将结果推广至广义齐次多项式，包括 $0 < p \in \mathbb{Q}$ 的有理数 $L_p$-范数。
• 从单位球的矩及其 Gram 矩阵迹的角度，刻画最优解的特征，当限制为平方和形式时。

提出的方法

• 将问题表述为凸优化问题：在 $g \in \text{Hom}_d$ 的约束下，最小化 $\|g\|_1$ 或 $\|g\|_2$，且满足 $\text{vol}(\{\mathbf{x} : g(\mathbf{x}) \leq 1\}) = 1$。
• 利用齐次性及 Gamma 函数的积分表示，表达子水平集的体积与广义矩。
• 应用拉格朗日乘数法推导最优性条件：$g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$，将系数与矩联系起来。
• 通过 $\ell_2$-范数和 $\ell_1$-范数在可行集上的严格凸性，证明最优解的唯一性。
• 通过最小化关联 Gram 矩阵的迹，刻画平方和（SOS）情形下的最优解。
• 通过使用公共分母定义 $\mathbb{Z}_q$-齐次形式，将结果推广至具有有理指数的广义多项式。

实验结果

研究问题

• RQ1 在固定体积单位球的约束下，对系数向量进行 $\ell_1$-最小化，是否能恢复稀疏的 $L_d$-范数多项式 $\sum x_i^d$ 作为最优表示？
• RQ2 与 $\ell_1$-最优解相比，$\ell_2$-最小化下的最优解在结构上如何不同，特别是在稀疏性方面？
• RQ3 $\ell_1$-松弛策略是否能有效逼近非凸的 $\ell_0$-最小化问题（即最小化非零系数的数量）？
• RQ4 当限制为平方和形式时，最优多项式的结构是怎样的？最小化 Gram 矩阵迹与稀疏性之间有何关系？
• RQ5 结果如何推广至广义齐次多项式，包括 $0 < p \in \mathbb{Q}$ 的有理数 $L_p$-范数？

主要发现

• 在固定体积下，$\ell_1$-范数的唯一极小化子为 $L_d$-范数多项式 $g^*_1(\mathbf{x}) = \sum_{i=1}^n x_i^d$，其达到最小可能的 $\ell_0$-范数 $n$。
• $\ell_1$-最小化问题是凸的，且具有唯一解，证实 $\ell_1$-松弛能成功恢复最稀疏的表示。
• $\ell_2$-最小化问题也产生唯一解 $g^*_2$，但该解不稀疏——所有系数 $g^*_{\alpha}$ 均非零，由非零广义矩可得证。
• 对于 $\ell_2$ 情形，最优解满足 $g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$，且所有矩非零，意味着系数具有完整的支撑。
• 在 SOS 受限问题中，最优解通过最小化 Gram 矩阵的迹获得，从而得到一个复杂度最低的平方和表示。
• 对于具有有理指数的广义齐次多项式，$\ell_1$-最小化结果仍成立：最小 $\ell_1$-范数仍为 $n$，且仅当多项式为 $\sum |x_i|^d$ 时可达；其他任何广义多项式均无法在有限体积下实现更小的 $\ell_1$-范数。