[论文解读] Optimal Estimation and Completion of Matrices with Biclustering Structures

Chao Gao, Yu Lu+2 more|arXiv (Cornell University)|Dec 1, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用 30

一句话总结

本文提出了一种约束最小二乘估计器，用于从噪声且部分观测的数据中恢复具有双聚类结构的矩阵。该方法在高斯和二值数据下均实现了极小化率最优的性能，适用于随机块模型中的矩阵补全以及稀疏图函数估计。

ABSTRACT

Biclustering structures in data matrices were first formalized in a seminal paper by John Hartigan (1972) where one seeks to cluster cases and variables simultaneously. Such structures are also prevalent in block modeling of networks. In this paper, we develop a unified theory for the estimation and completion of matrices with biclustering structures, where the data is a partially observed and noise contaminated data matrix with a certain biclustering structure. In particular, we show that a constrained least squares estimator achieves minimax rate-optimal performance in several of the most important scenarios. To this end, we derive unified high probability upper bounds for all sub-Gaussian data and also provide matching minimax lower bounds in both Gaussian and binary cases. Due to the close connection of graphon to stochastic block models, an immediate consequence of our general results is a minimax rate-optimal estimator for sparse graphons.

研究动机与目标

• 开发一种统一的理论，用于在存在噪声和缺失数据的情况下估计和补全具有双聚类结构的矩阵。
• 解决低秩矩阵补全方法在底层结构为双聚类时的局限性，因为双聚类结构更具信息量，并能带来更优的估计率。
• 在连续（高斯）和离散（二值）数据模型下，建立极小化率最优性。
• 将结果扩展至网络数据，特别是随机块模型（SBMs），并推导出稀疏图函数的率最优估计器。
• 提供估计误差的高概率上界，并给出匹配的极小化下界，以确认最优性。

提出的方法

• 提出一种约束最小二乘估计器，通过假设行聚类和列聚类内部值恒定，来强制实现双聚类结构。
• 在子高斯噪声和缺失数据条件下，推导出估计器均方误差（MSE）的高概率上界。
• 利用伯恩斯坦型不等式和集中不等式，控制估计器与真实信号矩阵之间的偏差。
• 采用对称化和经验过程技术，处理存在缺失条目时的估计误差。
• 通过在高斯和二值设定下的检验论据建立极小化下界，以确认最优性。
• 将结果扩展至对角线为零的对称矩阵，用于建模无向网络，并与密集和稀疏情形下的图函数估计建立联系。

实验结果

研究问题

• RQ1 在存在缺失数据和噪声的情况下，约束最小二乘估计器能否在双聚类结构矩阵估计中实现极小化率最优？
• RQ2 与标准低秩矩阵补全相比，双聚类感知估计的估计误差率表现如何？
• RQ3 在高斯和二值观测模型下，双聚类结构矩阵估计的极小化下界是什么？
• RQ4 所提出的方法能否应用于网络数据，特别是随机块模型，以实现对底层概率矩阵的最优恢复？
• RQ5 稀疏图函数的极小化率是多少？所提出的框架能否达到该率？

主要发现

• 在子高斯噪声下，约束最小二乘估计器在高斯和二值数据模型中均实现了极小化率最优。
• 估计误差的上界是紧的，并与推导出的极小化下界相匹配，证实了所提估计器的最优性。
• 对于随机块模型，该方法在密集和稀疏情形下均提供了对底层概率矩阵的率最优估计器。
• 该框架为稀疏图函数提供了极小化率最优的估计器，与文献中已知的极小化率相匹配。
• 在一般子高斯噪声和缺失数据机制下，建立了估计器的高概率集中不等式。
• 当矩阵为对角线为零的对称矩阵时（如无向网络建模所需），该方法依然有效。