[论文解读] Multivariate Regression with Grossly Corrupted Observations: A Robust Approach and its Applications

Xiaowei Zhang, Chi Xu+3 more|arXiv (Cornell University)|Jan 11, 2017

Anomaly Detection Techniques and Applications参考文献 3被引用 5

一句话总结

该论文提出了一种鲁棒的多元回归框架，通过联合估计回归系数和稀疏误差矩阵，显式建模严重损坏或缺失的观测值，采用 $β_{2,1}$-范数损失和组稀疏正则化。该方法采用多块近端交替方向乘子法（ADMM）求解器，确保全局收敛性，并在合成数据和真实世界数据上表现出色，包括从社交媒体数据中进行人格预测和在标签噪声下的3D手部姿态估计。

ABSTRACT

This paper studies the problem of multivariate linear regression where a portion of the observations is grossly corrupted or is missing, and the magnitudes and locations of such occurrences are unknown in priori. To deal with this problem, we propose a new approach by explicitly consider the error source as well as its sparseness nature. An interesting property of our approach lies in its ability of allowing individual regression output elements or tasks to possess their unique noise levels. Moreover, despite working with a non-smooth optimization problem, our approach still guarantees to converge to its optimal solution. Experiments on synthetic data demonstrate the competitiveness of our approach compared with existing multivariate regression models. In addition, empirically our approach has been validated with very promising results on two exemplar real-world applications: The first concerns the prediction of extit{Big-Five} personality based on user behaviors at social network sites (SNSs), while the second is 3D human hand pose estimation from depth images. The implementation of our approach and comparison methods as well as the involved datasets are made publicly available in support of the open-source and reproducible research initiatives.

研究动机与目标

• 解决当部分观测值严重损坏或缺失且其位置和幅度未知时的多元回归问题。
• 对不同回归任务或输出变量之间的异质性噪声水平进行建模。
• 开发一种全局收敛且高效的非光滑优化框架。
• 在涉及标签损坏的真实世界应用中验证该方法，如从社交网络行为中进行人格预测和从深度图像中进行3D手部姿态估计。

提出的方法

• 该方法将观测矩阵建模为 $Y = XW^* + Z + G^*$，其中 $G^*$ 捕获严重误差或缺失条目。
• 采用 $β_{2,1}$-范数作为损失函数，以实现任务特定的噪声水平自适应。
• 对 $W$ 应用组稀疏正则化 ($r_W(W)$)，以在不同任务间促进结构化特征选择。
• 对 $G$ 使用诱导稀疏性的 $\ell_1$-范数正则化 ($r_G(G)$)，以检测并纠正严重误差。
• 提出一种多块近端交替方向乘子法（ADMM）来求解非光滑优化问题。
• 证明该求解器即使在存在非光滑分量的情况下也具有全局收敛性和高效性。

实验结果

研究问题

• RQ1 能否以合理的方式联合估计回归系数并恢复严重损坏或缺失的观测值？
• RQ2 模型如何适应不同输出变量或任务之间变化的噪声水平？
• RQ3 所提出的基于ADMM的求解器是否能对这一非光滑优化问题实现全局收敛和高效求解？
• RQ4 在存在标签损坏或缺失数据的情况下，该方法相较于现有模型表现如何？
• RQ5 该方法能否推广到具有复杂噪声数据的真实世界应用，如人格预测和3D手部姿态估计？

主要发现

• 在合成数据上，所提出的CMRG方法在所有测试条件下均持续优于OMR、CMR、OMRG、DHand和AlexNet，尤其在标签缺失或损坏程度增加时表现更优。
• 在人格预测任务中，该方法能有效从噪声较大的SNS用户行为数据中恢复出有意义的人格特质。
• 在3D手部姿态估计任务中，CMRG在所有测试方法中实现了最低的平均关节点误差，尤其在20%至40%的真实标注缺失时表现尤为突出。
• 即使训练数据中缺失40%的条目，该方法仍保持鲁棒性能，而其他模型则表现出显著的性能下降。
• 将模型与CNN特征结合后，性能优于标准深度学习基线模型，表明该方法与深度表征之间具有强大的协同效应。
• 所提出的多块近端ADMM求解器展现出全局收敛性和高效的运行时间，验证了其在大规模问题中的实用性。