[论文解读] Predicting the Future Behavior of a Time-Varying Probability Distribution

Christoph H. Lampert|arXiv (Cornell University)|Jun 20, 2014

Anomaly Detection Techniques and Applications参考文献 29被引用 4

一句话总结

该论文提出了一种名为外推分布动力学（Extrapolating Distribution Dynamics, EDD）的方法，通过再生核希尔伯特空间（RKHS）中的核嵌入与向量值回归，预测时变概率分布的下一个状态。通过从观测到的样本集学习动力学算子，EDD 能够准确预测未来分布，并在无需未来数据的情况下提升域自适应中分类器的性能，在使用 DeCAF 特征的 CarEvolution 数据集上实现了最高 56.2% 的准确率。

ABSTRACT

We study the problem of predicting the future, though only in the probabilistic sense of estimating a future state of a time-varying probability distribution. This is not only an interesting academic problem, but solving this extrapolation problem also has many practical application, e.g. for training classifiers that have to operate under time-varying conditions. Our main contribution is a method for predicting the next step of the time-varying distribution from a given sequence of sample sets from earlier time steps. For this we rely on two recent machine learning techniques: embedding probability distributions into a reproducing kernel Hilbert space, and learning operators by vector-valued regression. We illustrate the working principles and the practical usefulness of our method by experiments on synthetic and real data. We also highlight an exemplary application: training a classifier in a domain adaptation setting without having access to examples from the test time distribution at training time.

研究动机与目标

• 解决仅能获取过去样本集时，预测时变概率分布下一个状态的挑战。
• 开发一种方法，无需假设参数形式或领域特定结构，即可外推分布动力学。
• 在无法访问目标时间点的标注或未标注样本的情况下，实现对面向未来数据分布的分类器训练。
• 通过域自适应实验展示实际效用，其中训练期间不可用测试时间数据。

提出的方法

• 使用特征核将每个观测到的样本集表示为再生核希尔伯特空间（RKHS）中的经验核均值嵌入，以保留分布信息。
• 通过向量值回归学习 RKHS 中一个线性算子，将当前分布的嵌入映射到下一分布的嵌入。
• 将学习问题表述为带凸代理损失的正则化优化，利用标准 SVM 求解器实现高效训练。
• 将学习到的动力学向前外推一步，以预测未观测到的未来分布的嵌入。
• 可选地，使用追迹法（herding）从预测分布生成新的样本集，以构建用于下游任务的合成数据集。
• 将预测分布应用于训练分类器（PredSVM），使其能泛化至未来数据分布。

实验结果

研究问题

• RQ1 我们能否仅基于过去样本集且不预先知晓分布的参数形式，预测时变概率分布的下一个状态？
• RQ2 在 RKHS 空间中学习到的动力学算子，从观测到的样本集序列中，外推未来分布嵌入的能力如何？
• RQ3 在训练期间不可用测试时间数据的情况下，预测的未来分布能在多大程度上提升域自适应中分类器的性能？
• RQ4 该方法在不同数据类型和分布漂移（如长期视觉领域漂移）下是否具备泛化能力？

主要发现

• EDD 在合成数据和真实世界数据上均验证了其可测量的准确性，成功预测了时变序列中的下一个分布。
• 在 CarEvolution 数据集上，使用 DeCAF 特征时，基于预测分布训练的 PredSVM 分类器达到了 56.2% 的准确率，优于所有基线模型，包括使用全部源数据训练的模型。
• 当从 1990 年代预测至 2000 年代时，使用 Fisher 向量的模型分类准确率相比最佳基线最高提升了 4.1 个百分点。
• 在使用 DeCAF 特征时提升更为显著，表明 EDD 在领域漂移不那么明显的场景下依然有效。
• 该方法在不同时间顺序下均表现出鲁棒性，包括反向预测（如从 2010 年代预测 1970 年代），表明学习到的动力学捕捉到了有意义的时间演化模式。
• 使用带凸代理损失的向量值回归实现了稳定且可扩展的训练，当应用于预测数据时，性能与标准 SVM 相当。