[论文解读] Predictive Encoding of Contextual Relationships for Perceptual Inference, Interpolation and Prediction

M. Zhao, Chengxu Zhuang+2 more|arXiv (Cornell University)|Nov 14, 2014

Neural dynamics and brain function参考文献 25被引用 3

一句话总结

该论文提出了一种受神经机制启发的预测编码模型，通过学习时空上下文关系，提升图像序列中的感知推理、插值和预测性能。通过仅使用预测误差来更新潜在的上下文表征（而不改变前向输入），该模型实现了双向推理，在预测任务上优于门控玻尔兹曼机（GBM），并独特地支持缺失帧的插值。

ABSTRACT

We propose a new neurally-inspired model that can learn to encode the global relationship context of visual events across time and space and to use the contextual information to modulate the analysis by synthesis process in a predictive coding framework. The model learns latent contextual representations by maximizing the predictability of visual events based on local and global contextual information through both top-down and bottom-up processes. In contrast to standard predictive coding models, the prediction error in this model is used to update the contextual representation but does not alter the feedforward input for the next layer, and is thus more consistent with neurophysiological observations. We establish the computational feasibility of this model by demonstrating its ability in several aspects. We show that our model can outperform state-of-art performances of gated Boltzmann machines (GBM) in estimation of contextual information. Our model can also interpolate missing events or predict future events in image sequences while simultaneously estimating contextual information. We show it achieves state-of-art performances in terms of prediction accuracy in a variety of tasks and possesses the ability to interpolate missing frames, a function that is lacking in GBM.

研究动机与目标

• 开发一种生物上合理的模型，以学习视觉序列中时空上的上下文关系。
• 解决标准预测编码和门控玻尔兹曼机（GBM）在处理缺失帧插值方面的局限性。
• 通过统一框架实现上下文信息的联合估计与预测或重构的生成。
• 通过学习到的潜在上下文表征调制图像生成过程，提升推理与预测的准确性。
• 证明预测误差可用于更新上下文表征，而无需替换前向输入，从而增强生物合理性。

提出的方法

• 该模型采用预测编码框架，其中自顶向下的反馈生成预测，自底向上的误差信号用于更新上下文表征。
• 通过结合自顶向下与自底向上过程，最大化视觉事件的可预测性，来学习潜在的上下文表征。
• 仅使用预测误差来更新上下文表征，而不改变下一层的前向输入，从而增强生物合理性。
• 该模型在前向路径中采用时空滤波，避免了GBM所需的N重乘法交互或神经同步。
• 通过上下文调制在图像生成过程中重新缩放基函数，实现自适应预测与重构。
• 通过最小化合成与观测图像序列之间的预测误差，实现端到端训练。

实验结果

研究问题

• RQ1 预测编码模型能否学习并利用时空上下文关系，以提升感知推理与预测性能？
• RQ2 该模型能否在图像序列中实现缺失帧的插值，而这是标准GBM模型所不具备的能力？
• RQ3 仅使用预测误差更新上下文表征（而不改变前向输入）是否比标准预测编码更具生物合理性？
• RQ4 该模型在预测与插值任务上的性能与SOTA模型（如门控玻尔兹曼机）相比如何？
• RQ5 该模型能否在数据有限的序列（如NORB数据集）上泛化，而无需大规模训练？

主要发现

• 该模型在预测准确性方面达到SOTA性能，在测试的图像序列上略优于门控玻尔兹曼机（GBM）。
• 该模型独特地支持序列中缺失帧的插值，这是GBM由于依赖两帧变换而无法实现的功能。
• 表4.3的定量结果显示，该模型在NORB数据集上的预测与插值任务的均方根误差（RMSE）与GBM和GAE相比，相当或更优。
• 该模型仅通过预测误差更新上下文表征（而不替换前向输入）的方式，与神经生理学观察更为一致，优于标准预测编码。
• 通过训练具有正交相位关系的滤波器，提升了时间分辨率，如图6所示，插值结果合理。
• 该模型表明，通过学习到的潜在变量进行上下文调制，可有效支持视觉感知的生成与建构性方面，而不仅限于简单重构。