[论文解读] The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR

Irsyad Adam, Zekai Chen+6 more|arXiv (Cornell University)|Jan 29, 2026

Machine Learning in Healthcare被引用 0

一句话总结

论文主张临床模型应模拟患者轨迹，而非仅预测下一个 token，提出 SMB-Structure，结合有监督微调与联合嵌入预测架构（Joint-Embedding Predictive Architecture）以从纵向电子病历数据学习潜在轨迹动态。

ABSTRACT

Large language models (LLMs) trained with next-word-prediction have achieved success as clinical foundation models. Representations from these language backbones yield strong linear probe performance across biomedical tasks, suggesting that patient semantics emerge from next-token prediction at scale. However, this paradigm treats patients as a document to be summarized rather than a dynamical system to be simulated; a patient's trajectory emerges from their state evolving under interventions and time, requiring models that simulate dynamics rather than predict tokens. To address this, we introduce SMB-Structure, a world model for structured EHR that grounds a joint-embedding prediction architecture (JEPA) with next-token prediction (SFT). SFT grounds our model to reconstruct future patient states in token space, while JEPA predicts those futures in latent space from the initial patient representation alone, forcing trajectory dynamics to be encoded before the next state is observed. We validate across two large-scale cohorts: Memorial Sloan Kettering (23,319 oncology patients; 323,000+ patient-years) and INSPECT (19,402 pulmonary embolism patients). Using a linear probe evaluated at multiple points along the disease trajectory, we demonstrate that our training paradigm learns embeddings that capture disease dynamics not recoverable by autoregressive baselines, enabling SMB-Structure to achieve competitive performance on complex tasks characterized by high patient heterogeneity. Model weights are available at https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure.

研究动机与目标

• 推动超越“下一个 token 预测”，明确建模干预下的患者状态演变。
• 以临床语义为基础构建世界模型，同时学习轨迹动态。
• 在大规模纵向队列上评估 latent-space 预测目标（JEPA）与 SFT 的组合。
• 证明潜在动态包含自回归基线在不同任务中无法恢复的信息。

提出的方法

• 提出由领域专用临床标记、瓶颈预测器和动量编码器组成的 SMB-Structure。
• 通过 JEPA 将潜在空间预测落地，在观测未来 token 之前先预测当前状态的未来嵌入。
• 在联合目标中将 SFT（下一个 token 重建）与 JEPA（潜在空间预测）结合，设定平衡比与 EMA 目标网络。
• 采用双前向传导训练策略：对未掩蔽序列进行 SFT，对掩蔽目标进行 JEPA，随后更新单一参数。
• 在来自两个队列（MSK 和 INSPECT）的 68 个下游任务上，对冻结嵌入进行线性探针评估。

实验结果

研究问题

• RQ1 潜在空间轨迹预测（JEPA）是否能捕捉自回归下的下一个 token 无法恢复的疾病动态？
• RQ2 通过有监督微调进行基础化是否能提升长 horizon EHR 任务中潜在动态的质量？
• RQ3 接触多样轨迹模式（MSK + INSPECT）如何影响轨迹建模和泛化？
• RQ4 以 SFT 然后 JEPA 的课程化基础是否比联合混合训练更有效地学习动态表示？

主要发现

• 基于 JEPA 的目标在轨迹正则化方面表现更强，特别是在训练数据覆盖多样轨迹时提升长期预测。
• 课程化基础（先 SFT 再 JEPA）优于联合混合训练，表明同时学习时目标可能相互干扰。
• SMB-Structure 学得的潜在动态在异质疾病上的泛化能力优于仅表面 token 重建。
• 在短期任务中，SFT 表现可比，但在长期死亡率与进展任务上，潜在空间预测带来显著收益。
• 接触快速进化轨迹（INSPECT）提升对进展较慢的肿瘤学任务的性能，支持轨迹多样性作为正则化。