[论文解读] Training-Free Generative Modeling via Kernelized Stochastic Interpolants

Florentin Coeurdoux, Etienne Lempereur+5 more|arXiv (Cornell University)|Feb 23, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

该论文提出一种训练无关的生成建模框架，使用核化随机插值器。它用有限维特征映射解决数据相关的漂移线性系统，替代神经网络训练，并采用最优扩散时间表以提高样本质量。

ABSTRACT

We develop a kernel method for generative modeling within the stochastic interpolant framework, replacing neural network training with linear systems. The drift of the generative SDE is $\hat b_t(x) = ablaϕ(x)^ opη_t$, where $η_t\in\R^P$ solves a $P imes P$ system computable from data, with $P$ independent of the data dimension $d$. Since estimates are inexact, the diffusion coefficient $D_t$ affects sample quality; the optimal $D_t^*$ from Girsanov diverges at $t=0$, but this poses no difficulty and we develop an integrator that handles it seamlessly. The framework accommodates diverse feature maps -- scattering transforms, pretrained generative models etc. -- enabling training-free generation and model combination. We demonstrate the approach on financial time series, turbulence, and image generation.

研究动机与目标

• 用基于核的方法替代神经网络漂移学习的目标。
• 通过预先从数据中计算漂移系数来实现训练无关的生成。
• 引入多样的特征映射（散射变换、预训练模型）以实现灵活的生成建模。
• 利用最优扩散时间表来界定生成误差并无缝处理端点行为。
• 展示在时间序列、物理场和图像生成中的应用性。

提出的方法

• 定义一个特征映射 phi: R^d -> R^P，用以近似漂移为 b_hat_t(x) = grad(phi)(x)^T eta_t。
• 形成一个 P×P 的 Gram 矩阵系统 K_t eta_t = E[grad(phi(I_t)) · dot{I_t}] 以估计 eta_t（命题 2.1）。
• 在生成前在时间网格上预计算 eta_t，并可用于多样本复用（算法 1）。
• 采用最优扩散系数 D_t^* = alpha_t gamma_t / beta_t 以最小化路径 KL 发散（命题 2.2）。
• 推导一个能够处理 D_0^*=∞ 和 D_1^*=0 的积分器，从而实现稳定生成（第 2.4 节）。
• 允许灵活的特征映射，包括散射变换和预训练速度场，以实现训练无关的模型组合（第 2.5 节）。

Figure 1: Generation from a single S&P 500 daily log-returns realization ( $d=6{,}064$ ) using scattering features ( $P=217$ ). Top : Original (blue) and generated sample (orange), both showing volatility clustering. Bottom left : Log-return densities, with near-perfect agreement including heavy tai

实验结果

研究问题

• RQ1 在没有神经网络训练的情况下，使用有限维核表示能否准确近似随机插值中的漂移？
• RQ2 最优扩散时间表 D_t^* 在漂移估计误差下如何影响生成质量？
• RQ3 多样化的特征映射（如散射变换、预训练模型）是否能够实现训练无关的生成和模型组合？
• RQ4 核化随机插值器在真实数据模态（时间序列、湍流、图像）上的实际能力如何？

主要发现

• 漂移估计简化为求解 P×P 线性系统，P 与数据维度无关（命题 2.1）。
• 采用最优扩散 D_t^* 时，通过路径 KL 发散可以对生成误差进行界定，且 D_t^* 在 t=0 时趋向无穷大，在 t=1 时趋于零（命题 2.2）。
• 一个积分器在端点奇点处不需要裁剪即可实现稳定的生成方案（第 2.4 节）。
• 特征映射的灵活性支持训练无关的生成与跨模型组合，展示了散射变换和预训练速度场的应用（第 2.5 节）。
• 该方法在金融时间序列、类似湍流的物理场和使用弱预训练模型集合的图像生成上得到演示（第 3.1–3.3 节）。
• 对 MNIST 的弱模型进行集成可以在不再训练的情况下提升样本质量，理想对数似然在 P ~ 15 时达到饱和（图 3）。
• 核化集成在从部分训练不足的组件生成的 CelebA 面孔上表现出连贯性（图 4）。

Figure 2: Generation of two-dimensional physical fields using scattering-transform features. Top row : ground-truth samples from each dataset. Bottom row : samples generated by Algorithm 1 with $K=5{,}000$ integration steps. From left to right: 3d turbulence (pressure), dark matter (log-density), 3D