[论文解读] Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series

Joohyung Lee, Kwanhyung Lee+2 more|arXiv (Cornell University)|Feb 18, 2026

Machine Learning in Healthcare被引用 0

一句话总结

STAR-Set Transformer 通过时间局部性与可变类型注意力偏置来增强点集 EHR 编码，在 CPR、死亡率和 vasopressor 需求任务中实现优越的 ICU 预测性能，相较网格和集合基线具有更好表现。

ABSTRACT

Electronic health records (EHR) are irregular, asynchronous multivariate time series. As time-series foundation models increasingly tokenize events rather than discretizing time, the input layout becomes a key design choice. Grids expose time$ imes$variable structure but require imputation or missingness masks, risking error or sampling-policy shortcuts. Point-set tokenization avoids discretization but loses within-variable trajectories and time-local cross-variable context (Fig.1). We restore these priors in STructure-AwaRe (STAR) Set Transformer by adding parameter-efficient soft attention biases: a temporal locality penalty $-|Δt|/τ$ with learnable timescales and a variable-type affinity $B_{s_i,s_j}$ from a learned feature-compatibility matrix. We benchmark 10 depth-wise fusion schedules (Fig.2). On three ICU prediction tasks, STAR-Set achieves AUC/APR of 0.7158/0.0026 (CPR), 0.9164/0.2033 (mortality), and 0.8373/0.1258 (vasopressor use), outperforming regular-grid, event-time grid, and prior set baselines. Learned $τ$ and $B$ provide interpretable summaries of temporal context and variable interactions, offering a practical plug-in for context-informed time-series models.

研究动机与目标

• 在不离散化的前提下，研究如何在点集 EHR 编码器中恢复网格状的归纳结构。
• 为不规则临床时间序列引入两种参数高效的注意力偏置（时间偏置与变量类型偏置）。
• 系统评估在 Transformer 深度的哪一层注入偏置以及哪种层融合调度能优化性能。
• 证明在 ICU 任务上的预测性能相较网格、事件时间网格以及先前集合基线有显著提升。

提出的方法

• 将 EHR 事件序列表示为带时间、数值、变量类型等标记的不规则事件集合。
• 在集合变换器中加入加性软注意力偏置：时间局部性惩罚与可学习的类型兼容性矩阵。
• 定义逐层偏置调度（nb、tb、vb、vt），并在四个编码器层上评估两阶段深度融合。
• 通过在注意力逻辑中加入时间距离惩罚和类型兼容项，随后对键进行标准 softmax 归一化。
• 使用最终的 [CLS] 标记作为 episode 表征，采用 BCE 损失进行训练。
• 通过从模型中提取的学习到的 timescales（tau）和类型亲和性（B）提供可解释性。

Figure 1: EHR input layouts and biasing set attention. (a) Irregular, asynchronous EHR events. Grid and sparse time $\times$ variable layouts (b,c) make within-variable trajectories (red) and time-local cross-variable relations (blue) explicit (sparse relies on missingness masks), whereas set tokeni

实验结果

研究问题

• RQ1 相较基线，不规则 EHR 时间序列上时间局部性与变量类型注意力偏置是否提升性能？
• RQ2 在 Transformer 深度的哪一层注入偏置能获得最佳预测提升？
• RQ3 可学习的时序尺度与类型兼容矩阵是否为时间上下文与变量交互提供可解释的洞见？
• RQ4 不同的逐层偏置调度对下游 ICU 任务性能有何影响？

主要发现

• STAR-Set Transformer 在 CPR、死亡率与 vasopressor 任务上实现整体最佳性能（AUC/APR：CPR 0.7158/0.0026；死亡率 0.9164/0.2033；Vasopressor 0.8373/0.1258）。
• 时间偏置是 AUC 增益的主要驱动因素，tb-tb 在 CPR 等任务上表现出显著改进。
• 变量类型偏置在单独使用时提供稳定但较小的增益；组合偏置（vtb）带来强劲的 APR 提升。
• 逐层偏置调度显示在早层注入偏置并在后续层保持的策略有益，vt-vt 在整体上表现良好。
• 学习得到的 tau 与 B 矩阵能够给出 temporal context 与变量交互的可解释摘要。

Figure 2: Layer-wise fusion strategies for soft attention biases in the set encoder. Each panel illustrates a bias schedule applied across Transformer encoder layers (stacked blocks from early/lower to late/upper) on top of the set embedder. We ablate no bias (nb), temporal bias (tb), variable-type