[论文解读] Prospective Learning: Principled Extrapolation to the Future

De Silva, Ashwin, Ramesh, Rahul+41 more|arXiv (Cornell University)|Jan 19, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出前瞻性学习作为一种框架，将机器学习重新定义为优先预测未来数据分布，而非假设静态或对抗性分布变化。通过建模数据分布中动态且部分可预测的时间模式，前瞻性学习在非平稳环境中比回顾性学习展现出更好的泛化能力，为构建更鲁棒和自适应的AI系统提供了原则性路径。

ABSTRACT

Learning is a process which can update decision rules, based on past experience, such that future performance improves. Traditionally, machine learning is often evaluated under the assumption that the future will be identical to the past in distribution or change adversarially. But these assumptions can be either too optimistic or pessimistic for many problems in the real world. Real world scenarios evolve over multiple spatiotemporal scales with partially predictable dynamics. Here we reformulate the learning problem to one that centers around this idea of dynamic futures that are partially learnable. We conjecture that certain sequences of tasks are not retrospectively learnable (in which the data distribution is fixed), but are prospectively learnable (in which distributions may be dynamic), suggesting that prospective learning is more difficult in kind than retrospective learning. We argue that prospective learning more accurately characterizes many real world problems that (1) currently stymie existing artificial intelligence solutions and/or (2) lack adequate explanations for how natural intelligences solve them. Thus, studying prospective learning will lead to deeper insights and solutions to currently vexing challenges in both natural and artificial intelligences.

研究动机与目标

• 为解决回顾性学习的局限性，即假设训练和测试数据分布相同，提出一种新范式，以考虑动态演化的未来分布。
• 将前瞻性学习形式化为一个框架，明确建模数据分布变化的时间动态，从而实现对未来的任务分布的预测。
• 证明前瞻性学习能够克服回顾性学习在非平稳环境中因分布变化遵循可预测模式而产生的根本性失败模式。
• 将前瞻性学习定位为更准确、更全面的真实世界学习模型，更好地契合人工与自然智能的挑战。
• 通过将前瞻性学习与生物认知和生态适应性联系起来，为未来AI与认知科学的研究奠定理论基础。

提出的方法

• 重新定义学习问题，使其聚焦于预测未来数据分布，而非针对过去数据进行优化。
• 提出一种框架，其中学习者建模数据分布的时间演化，例如在任务分布之间交替或周期性变化。
• 采用双假设策略：为不同且重复出现的分布（如 P_A 和 P_B）维护独立模型，并根据预测的时间模式在它们之间切换。
• 利用持续学习和元学习中的归纳偏置，快速适应新分布，但通过引入分布序列的预测建模来加以扩展。
• 将前瞻性学习形式化为回顾性学习的推广，其目标不仅是泛化到未见数据，更是泛化到未见的*未来分布*。
• 提出前瞻性学习具有硬件无关性，可应用于软件、神经形态硬件甚至生物系统，促进跨学科研究。

实验结果

研究问题

• RQ1 在数据分布随时间以可预测、非对抗性模式演化的环境中，机器学习系统能否有效泛化？
• RQ2 为何标准的回顾性学习方法在存在周期性或结构化分布变化的场景中会失效，即使训练数据量很大？
• RQ3 学习系统如何建模并利用数据分布的时间动态，以超越静态或对抗性假设，提升未来性能？
• RQ4 前瞻性学习在真实世界非平稳环境中相比回顾性学习具有哪些理论和实际优势？
• RQ5 鉴于生物系统必须预测并适应变化的环境，前瞻性学习如何提供更准确的自然智能模型？

主要发现

• 回顾性学习在存在周期性分布变化（如在 P_A 和 P_B 之间交替）的场景中会失效，因为单一静态假设无法良好泛化到两种分布。
• 前瞻性学习通过建模分布变化的时间模式来克服这一失败，使系统能够使用基于上下文的独立假设，并根据预测的时间切换。
• 当分布序列遵循可预测、可学习的模式时，所提出的框架可实现任意低的未来分布误差。
• 前瞻性学习通过显式建模未来变化的动态而非将其视为随机或对抗性，为分布外泛化提供了一个原则性替代方案。
• 该框架表明，前瞻性学习不仅更具鲁棒性，而且更符合学习的实际目标——通过预测提升未来性能。
• 本文通过将前瞻性学习与自然智能联系起来，为未来研究奠定了基础，暗示生物系统可能天然使用类似的预测机制。