[论文解读] SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks

Weijing Tang, Jiaqi Ma+2 more|arXiv (Cornell University)|Aug 19, 2020

Statistical Methods and Inference参考文献 38被引用 10

一句话总结

SODEN 提出了一种基于常微分方程（ODE）网络的可扩展连续时间生存模型，以解决右删失数据中似然积分难以计算的挑战。通过将最大似然估计建模为带有微分方程约束的优化问题，SODEN 利用 ODE 求解器和伴随敏感性分析，高效计算似然值与梯度，支持使用随机梯度下降（SGD）进行端到端训练，并在真实世界生存数据集上实现了最先进性能。

ABSTRACT

In this paper, we propose a flexible model for survival analysis using neural networks along with scalable optimization algorithms. One key technical challenge for directly applying maximum likelihood estimation (MLE) to censored data is that evaluating the objective function and its gradients with respect to model parameters requires the calculation of integrals. To address this challenge, we recognize that the MLE for censored data can be viewed as a differential-equation constrained optimization problem, a novel perspective. Following this connection, we model the distribution of event time through an ordinary differential equation and utilize efficient ODE solvers and adjoint sensitivity analysis to numerically evaluate the likelihood and the gradients. Using this approach, we are able to 1) provide a broad family of continuous-time survival distributions without strong structural assumptions, 2) obtain powerful feature representations using neural networks, and 3) allow efficient estimation of the model in large-scale applications using stochastic gradient descent. Through both simulation studies and real-world data examples, we demonstrate the effectiveness of the proposed method in comparison to existing state-of-the-art deep learning survival analysis models. The implementation of the proposed SODEN approach has been made publicly available at https://github.com/jiaqima/SODEN.

研究动机与目标

• 解决深度生存分析中的根本挑战：右删失数据中似然评估的不可积分性。
• 克服现有方法依赖限制性假设（如比例风险）或时间离散化的局限性。
• 通过小批量随机梯度下降（SGD）实现灵活神经网络基生存模型的可扩展训练。
• 开发一个通用框架，支持广泛连续时间生存分布族，且无需强结构假设。
• 为深度生存模型提供理论严谨且计算高效的替代方案，以替代启发式或部分合理的优化方法。

提出的方法

• 将累积风险函数建模为由神经网络参数化的 ODE 的解。
• 将右删失数据的最大似然估计表述为带有微分方程约束的优化问题。
• 利用高效的数值 ODE 求解器（如自适应步长方法）计算生存函数和似然值。
• 应用伴随敏感性分析，通过 ODE 解反向传播梯度，实现端到端训练。
• 将基于 ODE 的似然计算集成到与小批量 SGD 兼容的深度学习框架中。
• 实现对风险函数的灵活建模，无需假设比例风险或参数形式。

实验结果

研究问题

• RQ1 是否可以构建一种连续时间生存模型，使得似然评估与梯度计算可通过 ODE 求解器实现数值可处理？
• RQ2 基于神经网络的 ODE 模型在真实世界右删失数据上的预测性能是否优于现有深度生存模型？
• RQ3 放松比例风险假设在多大程度上能提升模型拟合度与预测准确性？
• RQ4 所提出方法是否能通过小批量随机梯度下降有效扩展至大规模数据集？
• RQ5 在风险分层任务中，模型表现如何？以 concordance index 和 log-rank 检验衡量。

主要发现

• SODEN 在所有真实世界数据集（如 MIMIC、SUPPORT、METABRIC）上均取得最佳负对数似然（NLL），较基线模型提升 15–20%。
• 在 MIMIC 数据集上，SODEN 的时间依赖性 concordance index（C^td）为 0.746 ± 0.003，显著优于 Cox（0.734 ± 0.003*）和 DeepSurv（0.706 ± 0.003*）。
• 消融研究证实，SODEN-PH（PH 受限）和 SODEN-Cox（Cox 受限）模型的表现劣于完整 SODEN，表明这些数据集上比例风险假设不成立。
• SODEN 在 NLL 上显著优于 SODEN-PH 和 SODEN-Cox，成对 t 检验的 p 值均 < 0.05，证明非线性、非 PH 建模的重要性。
• Kaplan-Meier 曲线显示，SODEN 在 MIMIC 数据集上识别出的高风险与低风险组之间存在统计显著分离（p < 0.001）。
• 该方法通过小批量 SGD 实现可扩展训练，适用于具有复杂高维特征的大规模生存分析应用。