[论文解读] The Projected Power Method: An Efficient Algorithm for Joint Alignment from Pairwise Differences

Yuxin Chen, Emmanuel J. Candès|arXiv (Cornell University)|Sep 19, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 19

一句话总结

该论文提出了一种名为投影幂法（Projected Power Method）的高效算法，用于从带有噪声的成对模差中进行联合对齐，通过将离散变量提升到连续空间，并利用投影幂迭代在超立方体上进行优化。该方法在样本复杂度足够时，于广泛统计模型下以高概率实现精确恢复（即最大似然估计）。

ABSTRACT

Various applications involve assigning discrete label values to a collection of objects based on some pairwise noisy data. Due to the discrete---and hence nonconvex---structure of the problem, computing the optimal assignment (e.g.~maximum likelihood assignment) becomes intractable at first sight. This paper makes progress towards efficient computation by focusing on a concrete joint alignment problem---that is, the problem of recovering $n$ discrete variables $x_i \in \{1,\cdots, m\}$, $1\leq i\leq n$ given noisy observations of their modulo differences $\{x_i - x_j~\mathsf{mod}~m\}$. We propose a low-complexity and model-free procedure, which operates in a lifted space by representing distinct label values in orthogonal directions, and which attempts to optimize quadratic functions over hypercubes. Starting with a first guess computed via a spectral method, the algorithm successively refines the iterates via projected power iterations. We prove that for a broad class of statistical models, the proposed projected power method makes no error---and hence converges to the maximum likelihood estimate---in a suitable regime. Numerical experiments have been carried out on both synthetic and real data to demonstrate the practicality of our algorithm. We expect this algorithmic framework to be effective for a broad range of discrete assignment problems.

研究动机与目标

• 解决具有非凸、组合结构的离散分配问题的计算不可行性问题。
• 开发一种低复杂度、无需模型假设的算法，用于从带有噪声的模差中恢复离散标签。
• 证明所提方法在广泛统计模型下可收敛至最大似然估计。
• 在最小样本复杂度下，建立高概率精确恢复的理论保证。

提出的方法

• 通过在正交方向上表示不同取值，将离散标签变量提升到连续空间。
• 将联合对齐问题表示为在提升空间中超立方体上的二次优化问题。
• 使用谱方法进行初始化，以获得全局最优解吸引域内的初始估计。
• 通过投影幂迭代逐步优化估计，确保迭代点始终位于可行超立方体内。
• 采用两阶段范式：谱初始化后，通过投影幂步骤进行迭代优化。
• 通过利用有利的几何结构和中等偏差原理，证明了方法收敛至最大似然估计。

实验结果

研究问题

• RQ1 当标签空间为离散且非凸时，能否设计一种高效算法，用于从带有噪声的成对模差中进行联合对齐？
• RQ2 在最小样本复杂度下，带有谱初始化的投影幂法是否能在高概率下实现精确恢复？
• RQ3 该算法成功恢复真实离散标签所需的最小样本复杂度是多少？
• RQ4 该算法的性能如何依赖于成对差分中噪声的统计模型？
• RQ5 尽管离散分配问题具有非凸性，能否证明该算法收敛至最大似然估计？

主要发现

• 投影幂法在广泛统计模型下，以高概率实现精确恢复（即收敛至最大似然估计）。
• 当观测到的成对差分数满足 $ p_{\text{obs}} \gtrsim \frac{\log^5(mn)}{n} $ 时，可保证精确恢复，其中 $ m $ 为标签取值数量，$ n $ 为变量数量。
• 即使仅有50%的成对测量值与真实差值一致，该算法仍能成功运行。
• 理论分析表明，该方法在全局最优解附近具有较大的吸引域，使得谱初始化后可实现快速几何收敛。
• 该方法为无模型方法，除矩条件外，无需对噪声分布施加强参数假设。
• 通过中等偏差原理以及对KL散度和方差的界分析，建立了理论保证，表明该算法对噪声具有鲁棒性。