[论文解读] Robust approximate linear regression without correspondence

Amin Nejatbakhsh, Erdem Varol|arXiv (Cornell University)|Jun 1, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 3

一句话总结

该论文提出了无对应关系的鲁棒回归（rRWOC），一种在源点集和目标点集均含有异常值和缺失对应关系时估计线性回归系数的框架。该方法提出使用RANSAC和基于匈牙利算法的分配策略的随机化算法，在无噪声的一维情况下实现精确恢复，在存在噪声或高维设置下实现近似恢复，具有理论保证，并在秀丽隐杆线虫神经元匹配任务中得到验证。

ABSTRACT

We propose methods for estimating correspondence between two point sets under the presence of outliers in both the source and target sets. The proposed algorithms expand upon the theory of the regression without correspondence problem to estimate transformation coefficients using unordered multisets of covariates and responses. Previous theoretical analysis of the problem has been done in a setting where the responses are a complete permutation of the regressed covariates. This paper expands the problem setting by analyzing the cases where only a subset of the responses is a permutation of the regressed covariates in addition to some covariates being outliers. We term this problem extit{robust regression without correspondence} and provide several algorithms based on random sample consensus for exact and approximate recovery in a noiseless and noisy one-dimensional setting as well as an approximation algorithm for multiple dimensions. The theoretical guarantees of the algorithms are verified in simulated data. We demonstrate an important computational neuroscience application of the proposed framework by demonstrating its effectiveness in a extit{Caenorhabditis elegans} neuron matching problem where the presence of outliers in both the source and target nematodes is a natural tendency.

研究动机与目标

• 解决在协变量和响应变量均含有异常值和缺失数据时的无对应关系线性回归问题，该问题在生物成像中普遍存在。
• 通过建模不完整和受损数据（而不仅是完整排列）来扩展先前关于无对应关系回归的研究。
• 为噪声环境和高维设置下的精确与近似恢复开发高效且可证明正确的算法。
• 在真实世界的计算神经科学问题中验证该方法的有效性：在不同个体之间匹配秀丽隐杆线虫的神经元。

提出的方法

• 提出rRWOC问题的公式化方法，显式建模缺失对应关系和异常值，超越以往假设完整排列的研究。
• 针对一维无噪声rRWOC，提出一种多项式时间精确恢复算法，通过测试所有可能的内点对，并使用匈牙利算法验证分配。
• 采用受RANSAC启发的采样策略，测试由点对推导出的候选回归系数，选择在分配成本下产生最大内点集的系数。
• 应用匈牙利算法计算回归后的协变量与响应之间的最优分配，使用阈值化内点数量识别正确系数。
• 基于点间距离定义一个边界ν，以在噪声环境中区分正确与错误的系数估计。
• 利用噪声方差的统计界，证明在高概率下，正确的系数估计会产生显著多于错误估计的内点数。

实验结果

研究问题

• RQ1 在源点集和目标点集均含有异常值和缺失数据的一维rRWOC中，能否实现回归系数的精确恢复？
• RQ2 如何设计一种高效、随机化的算法，用于在噪声或高维rRWOC中的近似恢复？
• RQ3 在存在噪声和不完整对应关系的情况下，系数恢复的理论保证是什么？
• RQ4 在高异常值率的真实应用场景（如秀丽隐杆线虫神经元匹配）中，该方法能否优于现有方法？

主要发现

• 在数据分离满足弱假设的前提下，所提算法可在一维无噪声rRWOC设置下实现对真实回归系数的精确恢复。
• 在噪声环境中，当信噪比足够高时，该算法以高概率恢复真实系数，其结果由方差和内点数界支持。
• 该方法通过定义一个边界ν（即不同数据点间绝对差值的最小值的一半，并按真实系数缩放），实现对正确与错误系数估计的可靠区分。
• 理论分析表明，正确系数估计至少产生m−k个内点（其中k为异常值数量），而错误估计产生的内点更少，从而可通过内点数量识别正确系数。
• 由于采用随机采样和基于内点数的早期终止策略，该算法在高维情况下相比暴力搜索方法具有更高的计算效率。
• 在模拟数据上的实证验证证实了理论保证，且该方法在高异常值率下仍能以高精度成功匹配秀丽隐杆线虫的神经元。