[论文解读] Tree Memory Networks for Modelling Long-term Temporal Dependencies

Tharindu Fernando, Simon Denman+3 more|arXiv (Cornell University)|Mar 12, 2017

Human Pose and Action Recognition参考文献 43被引用 9

一句话总结

本文提出树记忆网络（TMN），一种新颖的记忆架构，通过分层树结构而非顺序记忆来建模序列到序列任务中的长期与短期时间依赖关系。该方法通过递归记忆组织有效捕捉近期上下文与长期模式，在飞机和行人轨迹预测任务中优于当前最先进模型。

ABSTRACT

In the domain of sequence modelling, Recurrent Neural Networks (RNN) have been capable of achieving impressive results in a variety of application areas including visual question answering, part-of-speech tagging and machine translation. However this success in modelling short term dependencies has not successfully transitioned to application areas such as trajectory prediction, which require capturing both short term and long term relationships. In this paper, we propose a Tree Memory Network (TMN) for modelling long term and short term relationships in sequence-to-sequence mapping problems. The proposed network architecture is composed of an input module, controller and a memory module. In contrast to related literature, which models the memory as a sequence of historical states, we model the memory as a recursive tree structure. This structure more effectively captures temporal dependencies across both short term and long term sequences using its hierarchical structure. We demonstrate the effectiveness and flexibility of the proposed TMN in two practical problems, aircraft trajectory modelling and pedestrian trajectory modelling in a surveillance setting, and in both cases we outperform the current state-of-the-art. Furthermore, we perform an in depth analysis on the evolution of the memory module content over time and provide visual evidence on how the proposed TMN is able to map both long term and short term relationships efficiently via a hierarchical structure.

研究动机与目标

• 为解决序列到序列学习中建模长期时间依赖关系的挑战，特别是在需要回忆历史模式的任务中。
• 克服RNN和LSTM中顺序记忆的局限性，这些模型常因梯度消失和短期主导而忽略长期关系。
• 设计一种记忆架构，以高效捕捉序列数据中的短期动态与长期结构模式。
• 在真实世界的轨迹预测任务中，展示所提出架构的泛化能力与有效性。
• 提供记忆演化的可视化与定量分析，展示分层结构如何实现对近期与历史输入的稳健表征。

提出的方法

• TMN架构由三个组件构成：输入模块、控制器和记忆模块，其中记忆模块采用递归树结构而非序列结构。
• 记忆模块以树形层次结构存储历史状态，实现跨多个时间尺度的长期依赖关系的高效检索与聚合。
• 在每个时间步，模型将输出计算为当前输入与前一时刻记忆状态的函数，通过可微注意力机制对树形记忆节点进行操作。
• 树结构使高层节点能够表示抽象的长期模式，而低层节点则捕捉短期动态，从而实现对时间关系的联合建模。
• 控制器基于输入相关性动态选择并更新记忆节点，使用门控机制控制信息在树中的流动。
• 模型通过反向传播进行端到端训练，损失函数针对序列到序列预测任务（如轨迹预测）进行定制。

实验结果

研究问题

• RQ1 树形记忆模块是否能在建模序列数据中的长期依赖关系方面优于顺序记忆？
• RQ2 记忆的分层组织如何实现对短期与长期时间模式的更好表征？
• RQ3 所提出的TMN模型在具有不同时间动态的多种序列到序列任务中，其泛化能力如何？
• RQ4 记忆激活如何随时间演变？能否解释其以反映有意义的长期模式？
• RQ5 树形记忆结构是否能减少对近期上下文的依赖，从而在重复或周期性过程中提升预测鲁棒性？

主要发现

• TMN在飞机轨迹预测任务中达到最先进性能，无论在准确性还是长时程预测方面均优于现有方法。
• 在Grand Central数据集上的行人轨迹预测中，TMN显著降低了预测误差，尤其在涉及重复流动模式的情境下表现更优。
• 可视化分析显示，树结构高层的记忆激活由输入模式驱动，而非近期历史，表明长期记忆保留效果良好。
• 与标准LSTM记忆模型不同，TMN在近期历史不同时，仍能对相似输入模式保持一致的激活，展现出对短期噪声的鲁棒性。
• 记忆模块的演化方式在重复事件（如列车到达）中保持结构相似性，证实其具备捕捉周期性与长期依赖关系的能力。
• 该模型的分层设计实现了稀疏且可解释的记忆表征，同时反映即时上下文与历史上下文，从而提升泛化能力。