[论文解读] Robust Matrix Estimation with Side Information

Anish Agarwal, Jungjun Choi+1 more|arXiv (Cornell University)|Mar 25, 2026

Advanced Causal Inference Techniques被引用 0

一句话总结

引入一个灵活的基于筛子的方法框架，将目标矩阵在利用行和列的辅助信息下分解为四个组件，带核范数惩罚，并扩展到 MAR 和 MNAR 缺失数据场景。

ABSTRACT

We introduce a flexible framework for high-dimensional matrix estimation to incorporate side information for both rows and columns. Existing approaches, such as inductive matrix completion, often impose restrictive structure-for example, an exact low-rank covariate interaction term, linear covariate effects, and limited ability to exploit components explained only by one side (row or column) or by neither-and frequently omit an explicit noise component. To address these limitations, we propose to decompose the underlying matrix as the sum of four complementary components: (possibly nonlinear) interaction between row and column characteristics; row characteristic-driven component, column characteristic-driven component, and residual low-rank structure unexplained by observed characteristics. By combining sieve-based projection with nuclear-norm penalization, each component can be estimated separately and these estimated components can then be aggregated to yield a final estimate. We derive convergence rates that highlight robustness across a range of model configurations depending on the informativeness of the side information. We further extend the method to partially observed matrices under both missing-at-random and missing-not-at-random mechanisms, including block-missing patterns motivated by causal panel data. Simulations and a real-data application to tobacco sales show that leveraging side information improves imputation accuracy and can enhance treatment-effect estimation relative to standard low-rank and spectral-based alternatives.

研究动机与目标

• 通过同时利用行和列的辅助信息，动机是实现高维鲁棒矩阵估计。
• 提出一个能捕捉交互及被一方或两方解释的成分的通用四分解。
• 开发结合筛子投影与核范数惩罚的估计方法，对每个分量逐一估计并聚合。
• 将框架扩展到部分观测矩阵在 MAR 与 MNAR 机制下的情形，包括因果面板动机模式。
• 建立收敛率，表现出对模型配置的鲁棒性，并通过仿真和真实数据展示收益。）
• _method:
• 将 M 分解为四部分：M1（X 和 Z 解释的交互）、M2（由 X 驱动）、M3（由 Z 驱动）、M4（X 与 Z 无法解释的部分）。
• 将每个分量表示为带有未知非线性函数的矩阵乘积，以及未观测的载荷矩阵。
• 使用筛子基来形成投影矩阵 PX 和 PZ，允许非线性效应并利用正交性降低噪声影响。
• 通过 PX Y PZ 来估计 M1，通过对在去除 PX 或 PZ 作用后的残差进行核范数惩罚的投影来估计 M2、M3、M4。
• 将四个估计量聚合，形成最终的 M hat：Mhat = M1hat + M2hat + M3hat + M4hat。
• 通过基于 MAR 的投影及对剩余部分的核范数惩罚扩展缺失数据；推导 MAR 收敛结果；扩展到 MNAR，采用区块模式与旋转重构。

提出的方法

• 将 M 分解为四部分：M1（X 和 Z 解释的交互）、M2（X 驱动）、M3（Z 驱动）、M4（X 或 Z 无法解释的部分）
• 将每个分量表示为带有未知非线性函数的矩阵乘积和未观测的载荷矩阵
• 使用筛子基形成投影矩阵 PX 和 PZ，允许非线性效应并利用正交性来降低噪声的影响
• 通过对残差在去除 PX 或 PZ 作用后的投影并加上核范数惩罚来估计 M2、M3、M4
• 将四个估计量聚合形成最终的 Mhat：Mhat = M1hat + M2hat + M3hat + M4hat
• 扩展到缺失数据：基于 MAR 的投影和对剩余部分的核范数惩罚；推导 MAR 收敛性结果；扩展到 MNAR，采用分块模式与旋转重构。

Figure 1: Missing pattern in MNAR case

实验结果

研究问题

• RQ1 是否能在鲁棒矩阵估计框架中整合来自行和列的辅助信息，同时考虑非线性交互？
• RQ2 在不同信息量的辅助信息下，将信号分解为交互、行驱动、列驱动和残差成分，是否能提升估计？
• RQ3 如何将筛子投影与核范数惩罚结合，以在不需要显式秩估计的情况下估计每个分量？
• RQ4 在完全观测、MAR 和 MNAR 设置下，提出的估计量具有怎样的收敛性质？
• RQ5 在因果面板背景下，加入辅助信息是否能改善插补和处理效应估计？

主要发现

• 所提四分解模型泛化了许多现有模型，并在某些分量较弱或为零时仍保持鲁棒性。
• 基于筛子的投影结合核范数惩罚，可以对各分量进行独立估计并实现鲁棒的最终聚合。
• 该方法的收敛速率能够自适应地随辅助信息的信息量变化，在辅助信息无信息时仍与标准低秩方法具有竞争力。
• 框架扩展到 MAR 和 MNAR 缺失数据，其中 MAR 的估计使用投影加剩余部分的核范数惩罚，MNAR 通过两子矩阵方法与旋转调整实现。
• 真实数据与仿真结果显示，利用辅助信息可以提升插补精度，并相对于谱/低秩替代方法改善处理效应估计。

Figure 2: AMSE under different values of $\alpha_{r}$