[论文解读] Multi-source Learning via Completion of Block-wise Overlapping Noisy Matrices

Doudou Zhou, Tianxi Cai+1 more|arXiv (Cornell University)|May 21, 2021

Advanced Graph Neural Networks参考文献 64被引用 4

一句话总结

本文提出BONMI，一种新颖的矩阵补全方法，用于处理多源生物医学数据整合中出现的分块重叠噪声矩阵。通过利用正交Procrustes对齐与低秩SVD，BONMI利用各源共享的特征空间完成缺失块的补全，在非均匀、分块结构缺失下仍能达到近最优的统计速率，且在知识图谱整合与跨语言医学概念翻译任务中表现出强劲的实证性能。

ABSTRACT

Matrix completion has attracted attention in many fields, including statistics, applied mathematics, and electrical engineering. Most of the works focus on the independent sampling models under which the observed entries are sampled independently. Motivated by applications in the integration of knowledge graphs derived from multi-source biomedical data such as those from Electronic Health Records (EHR) and biomedical text, we propose the {\bf B}lock-wise {\bf O}verlapping {\bf N}oisy {\bf M}atrix {\bf I}ntegration (BONMI) to treat blockwise missingness of symmetric matrices representing relatedness between entity pairs. Our idea is to exploit the orthogonal Procrustes problem to align the eigenspace of the two sub-matrices, then complete the missing blocks by the inner product of the two low-rank components. Besides, we prove the statistical rate for the eigenspace of the underlying matrix, which is comparable to the rate under the independently missing assumption. Simulation studies show that the method performs well under a variety of configurations. In the real data analysis, the method is applied to two tasks: (i) the integrating of several point-wise mutual information matrices built by English EHR and Chinese medical text data, and (ii) the machine translation between English and Chinese medical concepts. Our method shows an advantage over existing methods.

研究动机与目标

• 解决现有矩阵补全方法假设条目独立、均匀采样的局限性，该假设在真实世界多源数据整合中不成立，因缺失模式常为分块结构。
• 开发一种统计上可靠且计算高效的矩阵补全方法，适用于对称与非对称矩阵，当数据源共享重叠但非完全相同的实体或特征时。
• 为分块缺失下的特征空间估计提供理论保证，表明其收敛速率与独立采样下的结果相当。
• 实现异构来源（如电子健康记录与生物医学文本）知识图谱的有效整合，尤其适用于跨语言医学概念对齐。
• 将框架扩展至无重复观测的非对称矩阵，拓宽其在基因组学等数据整合任务中的适用性。

提出的方法

• BONMI使用正交Procrustes分析对齐来自重叠数据源的两个子矩阵的特征空间，实现一致的低秩结构估计。
• 通过从对齐特征空间中提取的低秩分量的内积完成缺失块的补全，利用各源之间的共享结构。
• 在补全后对聚合矩阵应用奇异值分解（SVD），再通过低秩逼近恢复完整矩阵。
• 对于非对称矩阵，BONMI在无需重复观测的情况下扩展框架，采用广义模型将重叠条目标记为唯一条目。
• 通过迭代聚合重叠对之间的估计值处理多源数据，并在多个源贡献同一元素时选择首个有效估计。
• 理论分析使用旋转不变范数界定了特征空间估计误差，表明在温和条件下其收敛速率与独立采样情形相当。

实验结果

研究问题

• RQ1 当缺失条目并非独立采样，而是呈现分块模式（如多源生物医学数据中常见）时，能否有效进行矩阵补全？
• RQ2 所提出的BONMI方法在分块缺失下是否能达到与独立采样模型相当的统计性能？
• RQ3 BONMI能否成功整合来自多源的知识图谱（如英、中医学文本），以提升词嵌入质量？
• RQ4 与现有方法相比，BONMI在跨语言医学概念翻译任务中的表现如何？
• RQ5 在存在噪声观测的分块缺失下，能否为特征空间估计建立理论保证？

主要发现

• BONMI在分块缺失下实现了近最优的特征空间估计统计误差率，其误差界与独立采样假设下的结果相当。
• 该方法在整合英文与中文医学文本的点互信息矩阵时表现出强劲的实证性能，显著提升了下游翻译质量。
• 模拟研究证实其在多种配置下具有鲁棒性，包括不同的采样概率与噪声水平。
• 理论分析表明，当最小采样概率 $p_0$ 远离零，或 $p_0 = o(1 / \log N)$ 时，左、右奇异向量估计误差的衰减速率与 $\frac{\{(1-p_0)K^2 + 1\}K}{\sqrt{\lambda_{\min}}}\sqrt{N}\sigma$ 成正比。
• 在稀疏采样情况下，误差界包含对数因子 $p_0 \log N$，反映不确定性增加，但仍保持一致性。
• 对无重复观测的非对称矩阵的扩展使方法具备更广泛应用潜力，例如在基因组数据整合中，重叠特征仅被观测一次。