[论文解读] Regression for sets of polynomial equations

Franz J. Király, Paul von Bünau+4 more|arXiv (Cornell University)|Oct 20, 2011

Model Reduction and Neural Networks参考文献 26被引用 9

一句话总结

本文提出理想回归（ideal regression），一种新颖方法，用于通过参数化多项式族来近似任意多项式方程组，使该族多项式最匹配输入方程的解集。该方法利用近似计算代数几何技术，直接计算解而无需数值优化，从而在诸如平稳子空间分析（Stationary Subspace Analysis）等问题中实现一致估计，并在噪声条件下提供可识别性与收敛性的理论保证。

ABSTRACT

We propose a method called ideal regression for approximating an arbitrary system of polynomial equations by a system of a particular type. Using techniques from approximate computational algebraic geometry, we show how we can solve ideal regression directly without resorting to numerical optimization. Ideal regression is useful whenever the solution to a learning problem can be described by a system of polynomial equations. As an example, we demonstrate how to formulate Stationary Subspace Analysis (SSA), a source separation problem, in terms of ideal regression, which also yields a consistent estimator for SSA. We then compare this estimator in simulations with previous optimization-based approaches for SSA.

研究动机与目标

• 开发一种直接的、非基于优化的方法，通过参数化多项式族来近似多项式方程组。
• 在解由多项式方程定义的学习问题中实现一致的参数估计，例如源分离任务。
• 利用代数几何工具——特别是理想饱和与齐次表示——实现噪声环境下稳健且理论基础坚实的近似。
• 通过在具有代数结构的参数估计问题平稳子空间分析（SSA）中的应用，展示该方法的有效性与一致性。
• 建立理想回归估计器可识别且收敛于真实解的理论条件，当噪声减小或样本量增加时成立。

提出的方法

• 理想回归将问题表述为：通过由多项式 $ p^{(1)}_{\theta}, \ldots, p^{(m)}_{\theta} $ 生成的参数化理想 $ \mathcal{F}_{\theta} $，近似输入多项式的解簇。
• 该方法使用理想的近似齐次饱和来计算参数化理想 $ \mathcal{F}_{\theta} $，确保其近似包含输入多项式 $ q_1, \ldots, q_n $。
• 算法5通过确定饱和稳定的度 $ N $，并利用奇异值阈值化处理噪声系数矩阵，来计算近似齐次饱和。
• 算法6通过近似左零空间计算与列筛选，降低饱和基的次数，从而实现从 $ (\mathcal{I}:X_D)_k $ 迭代计算 $ (\mathcal{I}:X_D)_{k-1} $。
• 该方法依赖于推论C.7与定理B.38，以在一般性条件下确保正确性与稳定性，尤其当根理想为线性或其Hilbert函数已知时。
• 该方法通过直接从噪声多项式系数计算代数对象（理想、饱和）避免数值优化，利用主成分分析实现低秩近似。

实验结果

研究问题

• RQ1 是否可以不依赖数值优化，一致地通过参数化多项式族近似多项式方程组？
• RQ2 当输入多项式受噪声污染时，理想回归估计器在何种条件下具有可识别性与一致性？
• RQ3 如何利用近似计算代数几何技术，在存在噪声的情况下稳健地计算理想饱和？
• RQ4 像平稳子空间分析（SSA）这类问题的代数结构，能否自然地通过理想回归捕捉并求解？
• RQ5 当噪声减小或样本量增加时，理想回归估计器的收敛性可提供何种理论保证？

主要发现

• 理想回归框架为平稳子空间分析（SSA）提供了具有一致性的估计器，其在定理C.5的条件下具有理论可识别性。
• 该方法通过计算由噪声多项式系数导出的理想之齐次饱和，实现一致估计，并在噪声减弱时收敛于真实解。
• 算法5与算法6通过奇异值分解实现的低秩近似，实现了理想饱和的稳定且高效近似计算。
• 在模拟实验中，该方法在SSA任务中优于以往基于优化的方法，表现出更高的准确度与抗噪鲁棒性。
• 理论结果表明，在一般性条件下，算法能正确终止并生成正确的根理想 $ \sqrt{\mathcal{I}} $，即使输入多项式存在噪声。
• 当根理想为线性或其Hilbert函数已知时，该方法可计算解空间的正确维数，从而实现精确近似与误差控制。