[论文解读] VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters

Mouxiang Chen, Lefei Shen+4 more|arXiv (Cornell University)|Aug 30, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

VisionTS 提出了一种新颖的零样本时间序列预测框架，通过复用在 ImageNet 上预训练的基于视觉的掩码自编码器，实现无需微调的时间序列预测。通过将一维时间序列转换为类似图像的二维矩阵，并利用视觉模型的自监督表征能力，VisionTS 在零样本设置下实现了最先进性能，超越了现有的基础模型（如 Moirai Large），表明视觉模型可作为时间序列预测的‘免费午餐’。

ABSTRACT

Foundation models have emerged as a promising approach in time series forecasting (TSF). Existing approaches either repurpose large language models (LLMs) or build large-scale time series datasets to develop TSF foundation models for universal forecasting. However, these methods face challenges due to the severe cross-domain gap or in-domain heterogeneity. This paper explores a new road to building a TSF foundation model from rich, high-quality natural images. Our key insight is that a visual masked autoencoder, pre-trained on the ImageNet dataset, can naturally be a numeric series forecaster. By reformulating TSF as an image reconstruction task, we bridge the gap between image pre-training and TSF downstream tasks. Surprisingly, without further adaptation in the time series domain, the proposed VisionTS could achieve better zero-shot forecast performance than existing TSF foundation models. With fine-tuning for one epoch, VisionTS could further improve the forecasting and achieve state-of-the-art performance in most cases. Extensive experiments reveal intrinsic similarities between images and real-world time series, suggesting that visual models may offer a "free lunch" for TSF and highlight the potential for future cross-modality research. Our code is publicly available at https://github.com/Keytoyze/VisionTS.

研究动机与目标

• 探索预训练的视觉模型是否可作为零样本时间序列预测的基础模型。
• 解决现有基于文本和基于时间序列的基础模型所面临的跨域差距或数据异质性问题。
• 通过利用图像与时间序列之间的共享结构和物理特性，弥合两者之间的模态差距。
• 评估在 ImageNet 上预训练的视觉掩码自编码器是否能在无需进一步适应的情况下泛化到时间序列预测任务。
• 证明视觉模型可作为时间序列预测中领域特定基础模型的低成本、高性能替代方案。

提出的方法

• 通过分割将一维时间序列数据转换为保留时间模式的二维矩阵。
• 通过视觉掩码自编码器（MAE）将时间序列预测重构为补丁级别的图像重建任务。
• 利用在 ImageNet 上预训练的视觉 MAE，以利用对趋势、季节性和平稳性等常见时间序列特征的学习表征。
• 在推理过程中对未来的预测窗口应用掩码，将其视为需重建的缺失补丁。
• 通过直接使用预训练视觉模型而无需在时间序列数据上进行任何微调，实现零样本预测。
• 仅对层归一化组件进行微调以实现最小程度的适应，在大多数基准测试中实现最先进性能。

实验结果

研究问题

• RQ1 在 ImageNet 上预训练的基于视觉的掩码自编码器是否能在时间序列预测中实现具有竞争力的零样本性能？
• RQ2 VisionTS 在零样本设置下的性能与现有基于文本和基于时间序列的基础模型相比如何？
• RQ3 不同微调策略对 VisionTS 预测准确率的影响是什么？
• RQ4 图像与时间序列之间的内在相似性是否能有效支持从视觉到时间序列预测的迁移学习？
• RQ5 在哪些预测场景中，VisionTS 相较于 Moirai Large 等强基线模型表现更优或更差？

主要发现

• VisionTS 在多个基准测试中实现了最先进零样本预测性能，无需任何微调即超越了现有最大基础模型 Moirai Large。
• 在 ETTh1 数据集上，VisionTS 在零样本设置下的 MAE 为 0.395，而 Moirai Large 为 0.534，相对提升达 25.8%。
• 仅经过一个周期的微调，VisionTS 在大多数长期预测基准中均达到最先进结果，平均 MAE 相较于零样本性能提升最高达 15%。
• 消融研究证实视觉知识至关重要：移除视觉模型（w/o VM）后，ETTh1 上的 MAE 降为 0.534，而完整 VisionTS 模型达到 0.395。
• 仅微调层归一化（LN）的策略表现最佳，基准测试平均 MAE 为 0.333，优于全模型微调及其他参数特定策略。
• 可视化结果表明，VisionTS 对规则模式（如图 8）泛化良好，但在低模式输入中可能对趋势过拟合，此时 Moirai Large 表现更优（如图 11）。