[论文解读] Prediction models for network-linked data

Tianxi Li, Elizaveta Levina+1 more|arXiv (Cornell University)|Feb 3, 2016

Complex Network Analysis Techniques参考文献 59被引用 9

一句话总结

本文提出一种基于网络的惩罚项，用于预测模型中，以利用网络凝聚力——即相连个体表现出相似行为——通过鼓励相连节点的预测值相似。该方法通过整合网络结构，在回归、广义线性模型和Cox模型中均提升了性能，显著改善了使用AddHealth数据集对青少年行为的预测效果，其中RNC（正则化网络分类）在休闲活动和大麻使用预测方面均优于标准模型。

ABSTRACT

Prediction algorithms typically assume the training data are independent samples, but in many modern applications samples come from individuals connected by a network. For example, in adolescent health studies of risk-taking behaviors, information on the subjects' social network is often available and plays an important role through network cohesion, the empirically observed phenomenon of friends behaving similarly. Taking cohesion into account in prediction models should allow us to improve their performance. Here we propose a network-based penalty on individual node effects to encourage similarity between predictions for linked nodes, and show that incorporating it into prediction leads to improvement over traditional models both theoretically and empirically when network cohesion is present. The penalty can be used with many loss-based prediction methods, such as regression, generalized linear models, and Cox's proportional hazard model. Applications to predicting levels of recreational activity and marijuana usage among teenagers from the AddHealth study based on both demographic covariates and friendship networks are discussed in detail and show that our approach to taking friendships into account can significantly improve predictions of behavior while providing interpretable estimates of covariate effects.

研究动机与目标

• 开发一种通用的统计框架，将网络结构数据整合到预测模型中，突破独立同分布采样假设的限制。
• 通过引入一种鼓励相连节点预测值相似的惩罚项，解决网络关联数据中观测值依赖的问题。
• 通过利用网络凝聚力，提升行为研究中的预测准确性，同时避免强因果假设。
• 提供可解释的模型，使个体协变量效应可与网络影响一并显式估计。

提出的方法

• 引入一种基于网络的惩罚项，通过正则化个体节点效应，以鼓励相连节点的预测值相似。
• 在基于损失的优化框架中应用该惩罚项，兼容回归、广义线性模型（GLMs）和Cox模型。
• 利用从网络邻接矩阵导出的拉普拉斯矩阵定义惩罚项，促进网络结构上的平滑性。
• 采用坐标下降算法高效求解正则化优化问题。
• 通过一种不需建模网络形成机制或因果关系的惩罚项整合网络信息。
• 通过稀疏Cholesky分解和在分布式系统上的并行化，支持可扩展计算。

实验结果

研究问题

• RQ1 能否利用网络凝聚力来提升具有网络关联数据的行为研究中的预测准确性？
• RQ2 如何在不违反独立同分布（i.i.d.）假设的前提下，正式将网络结构整合进标准预测模型？
• RQ3 引入网络惩罚是否能带来更可解释且更稳定的协变量效应估计？
• RQ4 所提出的模型对网络关联数据集中的缺失数据有多大的鲁棒性？
• RQ5 该方法在现实应用中（如预测青少年行为）是否能超越标准模型？

主要发现

• RNC（正则化网络分类）在预测休闲活动时达到1.163的RMSE，显著优于OLS（1.219）及其他基线模型。
• 在大麻使用预测中，RNC达到0.748的iAUC，优于Cox模型（0.727）和提升模型（0.742）。
• RNC-LA变体在pm=2时达到最高的iAUC（0.767），表明其对缺失数据具有强鲁棒性。
• 模型性能在不同缺失数据水平（最高达50%额外缺失）下保持稳定，所有设置下的排名一致。
• 协变量'race-black'的效应大小从OLS到RNC减少了21%，表明网络凝聚力捕获了其部分预测信号。
• 敏感性分析确认结果对数据插补和缺失数据具有鲁棒性，在不同缺失水平下模型排名无变化。