[论文解读] Optimally fuzzy scale-free memory

Karthik H. Shankar, Marc W. Howard|arXiv (Cornell University)|Nov 22, 2012

Complex Systems and Time Series Analysis参考文献 25被引用 11

一句话总结

本文提出了一种无尺度模糊缓冲内存系统，可在不过度增加容量需求的前提下，最优地权衡信息准确性与表示指数级长时标的能力。该系统受内部时间神经认知模型的启发，其在具有多尺度、长程相关结构的时间序列预测中，优于传统移位寄存器。

ABSTRACT

Any system with the ability to learn from a time series and predict the future must have a memory representing the information from the recent past. In cases where the external environment generating the time series has a fixed scale, the memory can be a simple shift register—a moving window of finite width extending into the past. The width of the window should be large enough to describe the largest scale relevant for predicting the signal. However, such a traditional buffer is inappropriate if the longest relevant scale is not known a priori, or if the signal has structure at many different time scales. It is well known that signals with scale-free long range correlations are found in many physical environments. Hence we argue in favor of a memory that is a scale-free fuzzy buffer which implicitly accounts for scale-free fluctuations in naturally generated signals. Based on a neuro-cognitive model of internal time, we construct a fuzzy buffer that optimally sacrifices the accuracy of information representation in order to represent exponentially long time scales without an explosion in capacity demands. Using several illustrative time series we demonstrate the advantage of the fuzzy buffer over the shift register in time series forecasting. We suggest that this method for representing time-varying signals may be of broad utility in a variety of applications.

研究动机与目标

• 为解决固定窗口移位寄存器在处理具有未知或多重时间尺度的时间序列时的局限性。
• 使用一种避免容量爆炸的内存系统，对具有无尺度、长程相关性的自然信号进行建模。
• 开发一种牺牲精度以实现更长时序表示的神经认知启发式内存架构。
• 展示模糊缓冲器在涉及复杂时序结构的预测任务中，相较于传统缓冲器的优越性。

提出的方法

• 该方法采用内部时间的神经认知模型，构建一种隐式编码多尺度时间信息的模糊缓冲器。
• 使用无尺度衰减函数对过去信息进行加权，使指数级长时标能在有界内存容量下得以表示。
• 模糊缓冲器根据时间尺度动态调整表示精度，优先考虑长期趋势而非短期精度。
• 该系统被实现为具有指数衰减权重的递归滤波器，模拟生物记忆动力学。
• 它用连续的、尺度不变的内存核替代固定宽度的移位寄存器，以捕捉长程相关性。
• 该模型在合成和真实时间序列上进行训练与评估，以衡量其预测性能。

实验结果

研究问题

• RQ1 如何在无需事先知晓最长相关时间尺度的情况下，使内存系统表示时间序列中的多尺度时间相关性？
• RQ2 在表示长程时间依赖关系时，信息准确性与内存容量之间的最优权衡是什么？
• RQ3 基于神经认知启发的模糊缓冲器是否能在无尺度信号的预测任务中优于传统移位寄存器？
• RQ4 无尺度衰减机制如何实现对指数级长时标的高效表示？
• RQ5 在预测具有复杂长程相关性的复杂时间序列时，模糊缓冲器相较于移位寄存器的性能提升如何？

主要发现

• 在具有长程相关性和多尺度结构的时间序列预测中，模糊缓冲器显著优于传统移位寄存器。
• 通过牺牲表示精度，该系统利用有界内存容量实现了对指数级长时标的有效表示。
• 无尺度衰减机制使系统在无需显式检测时间尺度的情况下，可在多种时间尺度上保持稳健性能。
• 该缓冲器的神经认知基础赋予其生物合理性，并在动态环境中表现出稳定性。
• 在示例性时间序列上的实证结果表明，预测性能持续提升，尤其在非平稳和无尺度情境下表现更优。
• 该方法在具有复杂时间相关性的多种信号类型中均表现出广泛的适用性。