[论文解读] Time Series Structure Discovery via Probabilistic Program Synthesis

Ulrich Schaechtle, Feras A. Saad+2 more|arXiv (Cornell University)|Nov 21, 2016

Time Series Analysis and Forecasting参考文献 11被引用 6

一句话总结

本文提出了一种用于时间序列结构发现的基于概率程序合成的框架，通过使用抽象语法树（ASTs）和Venture中的概率程序，重新构想了自动贝叶斯协方差发现（ABCD）方法。该方法在真实经济计量数据上实现了高精度的插值与外推，70行代码的实现优于非参数和标准回归基线方法，同时通过仅增加不到10行代码即可实现灵活且可扩展的非参数聚类模型发现。

ABSTRACT

There is a widespread need for techniques that can discover structure from time series data. Recently introduced techniques such as Automatic Bayesian Covariance Discovery (ABCD) provide a way to find structure within a single time series by searching through a space of covariance kernels that is generated using a simple grammar. While ABCD can identify a broad class of temporal patterns, it is difficult to extend and can be brittle in practice. This paper shows how to extend ABCD by formulating it in terms of probabilistic program synthesis. The key technical ideas are to (i) represent models using abstract syntax trees for a domain-specific probabilistic language, and (ii) represent the time series model prior, likelihood, and search strategy using probabilistic programs in a sufficiently expressive language. The final probabilistic program is written in under 70 lines of probabilistic code in Venture. The paper demonstrates an application to time series clustering that involves a non-parametric extension to ABCD, experiments for interpolation and extrapolation on real-world econometric data, and improvements in accuracy over both non-parametric and standard regression baselines.

研究动机与目标

• 为解决现有时间序列结构发现方法（如ABCD）的脆弱性和可扩展性有限问题。
• 通过概率编程实现对时间序列中可解释协方差结构的稳健、可扩展且可扩展的发现。
• 在单一概率程序合成框架中统一模型先验、似然函数和搜索策略，用于高斯过程模型。
• 在真实世界经济计量数据集上，与非参数和标准回归基线相比，展示出具有竞争力的插值和外推性能。
• 通过最小量代码扩展，实现时间序列的非参数聚类，从合成数据和真实数据中恢复出真实分组。

提出的方法

• 将时间序列模型表示为领域特定概率语言中的抽象语法树（ASTs），以支持模型结构的符号化操作与搜索。
• 定义一个生成式AST先验，从协方差核（如线性、周期性、白噪声）的语法中采样候选模型结构。
• 使用AST解释器将AST编译为Venture概率编程语言中的可执行概率程序。
• 将完整推理问题表述为AST、超参数和模型结构的联合后验分布，采用结合了Metropolis-Hastings采样与基于梯度的优化的合成策略。
• 将模型似然函数与先验分布整合到单一概率程序中，以实现对模型结构与超参数的贝叶斯推理。
• 利用Venture的推理引擎，对非参数聚类扩展中的模型结构、超参数和聚类身份进行联合推理。

实验结果

研究问题

• RQ1 概率程序合成能否用于重构并改进ABCD框架在时间序列结构发现中的应用？
• RQ2 在合成策略中结合基于梯度的优化与MCMC采样，对模型发现的准确性和鲁棒性有何影响？
• RQ3 该框架在仅通过极少代码修改的情况下，能在多大程度上扩展为具有共享协方差结构的时间序列非参数聚类？
• RQ4 所合成模型在真实世界时间序列数据上的预测性能与非参数和标准回归基线相比如何？
• RQ5 在复杂复合核场景下，对后验结构进行模型平均与使用最大后验（MAP）结构相比，对预测准确性的提升效果如何？

主要发现

• 该框架在真实世界插值与外推任务中实现了具有竞争力的预测性能，高斯过程模型准确捕捉了航空乘客数量和太阳辐射数据中的趋势与周期性。
• 在四个真实世界数据集的保留数据上，通过概率程序合成的高斯过程模型RMSE低于非参数和标准机器学习基线，性能标准化为1.0基线。
• 对结构、超参数和聚类身份的联合推理，仅用64个后验样本即恢复了四个合成时间序列（两个线性，两个周期性）的真实分组。
• 对后验结构分布进行模型平均优于使用最大后验（MAP）结构，尤其在MAP估计错误的复合核场景中表现更优。
• 将ABCD扩展为非参数聚类技术仅需修改不到10行代码，证明了该框架具有高度可扩展性和组合性。
• 完整实现仅需69行Venture代码，相比ABCD（4,166行）和GPML Toolbox（13,945行）显著降低了代码复杂度，凸显了该框架的简洁性与可维护性。