[论文解读] Multi-Task Learning with Incomplete Data for Healthcare

Xin Jiang, Saba Emrani+2 more|arXiv (Cornell University)|Jul 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用 3

一句话总结

本文提出了一种鲁棒的多任务学习框架，结合即插即用的协方差矩阵估计器，以处理医疗应用中的不完整数据，避免传统插补方法带来的偏差。通过在统一优化中整合LASSO与图正则化，该方法提升了模型估计与预测精度——尤其在高缺失数据率下表现更优，已在阿尔茨海默病进展数据上得到验证。

ABSTRACT

Multi-task learning is a type of transfer learning that trains multiple tasks simultaneously and leverages the shared information between related tasks to improve the generalization performance. However, missing features in the input matrix is a much more difficult problem which needs to be carefully addressed. Removing records with missing values can significantly reduce the sample size, which is impractical for datasets with large percentage of missing values. Popular imputation methods often distort the covariance structure of the data, which causes inaccurate inference. In this paper we propose using plug-in covariance matrix estimators to tackle the challenge of missing features. Specifically, we analyze the plug-in estimators under the framework of robust multi-task learning with LASSO and graph regularization, which captures the relatedness between tasks via graph regularization. We use the Alzheimer's disease progression dataset as an example to show how the proposed framework is effective for prediction and model estimation when missing data is present.

研究动机与目标

• 解决多任务学习中因缺失特征带来的挑战，其中传统插补会扭曲数据协方差并减少样本量。
• 开发一种将缺失数据处理直接整合到学习过程中的框架，避免引入偏差的独立插补步骤。
• 在不完整数据的多任务设置中提升模型泛化能力与预测精度，尤其在缺失数据率较高时。
• 在具有高缺失率的真实世界阿尔茨海默病进展数据上验证所提方法的有效性。
• 提供一种可扩展且鲁棒的解决方案，通过在LASSO与图正则化框架中使用即插即用估计器来估计协方差矩阵。

提出的方法

• 使用即插即用估计器对协方差矩阵进行处理，直接在多任务学习优化中应对缺失特征，避免数据插补。
• 将学习问题表述为正则化优化：最小化预测误差、L1（LASSO）稀疏性以及基于图的正则化（W·R的Frobenius范数）。
• 通过矩阵R引入图正则化以编码任务间关系，使相连的任务通过共享参数交换信息。
• 应用投影梯度下降高效求解优化问题，确保收敛性与稳定性。
• 使用考虑缺失数据的即插即用估计器来估计自协方差矩阵Γ，以保持数据结构。
• 通过替换目标函数，将该框架适配于多种多任务学习形式，同时保留协方差估计方法。

实验结果

研究问题

• RQ1 当数据包含高水平缺失特征时，即插即用协方差估计器是否能提升多任务学习中的模型估计与预测性能？
• RQ2 所提出的鲁棒多任务学习框架在预测精度与模型稳定性方面，相较于标准插补方法（如均值插补、矩阵分解）表现如何？
• RQ3 在存在缺失数据的情况下，图正则化与即插即用协方差估计结合是否能提升性能？
• RQ4 随着缺失数据率的增加，该框架在具有复杂相关结构的真实医学数据集上的表现如何？
• RQ5 所提方法是否能在不依赖独立数据插补或矩阵补全步骤的情况下，保持低偏差与高精度？

主要发现

• 在合成实验中，R-LGR1方法在所有缺失数据百分比下均优于均值插补与矩阵分解（MF-LGR），在模型与自协方差估计方面均实现了最低的NMSE。
• 在40%缺失数据条件下，R-LGR1在模型估计上的NMSE为0.007535，显著低于均值插补（0.007661）与MF-LGR（0.007684）。
• 在阿尔茨海默病数据集上，R-LGR1在原始数据（9%缺失）上的预测误差最低（RMSE = 7.538e-04），优于均值插补（7.596e-04）与MF-LGR（7.670e-04）。
• 当缺失数据增加至49%时，R-LGR1仍保持最低误差（7.660e-04），而均值插补与MF-LGR的误差持续上升，表明其具有更优的鲁棒性。
• R-LGR1在所有缺失数据水平下均持续优于基线方法，尤其在高缺失率（如39%与49%）时相对增益最大，证实了其稳定性。
• 与基于插补的方法相比，该方法更好地保持了数据结构，表现为自协方差矩阵估计器Γ的NMSE更低，这对准确推断至关重要。