[论文解读] View Vertically: A Hierarchical Network for Trajectory Prediction via Fourier Spectrums

Conghao Wong, Beihao Xia+6 more|arXiv (Cornell University)|Oct 14, 2021

Autonomous Vehicle Technology and Safety参考文献 26被引用 4

一句话总结

本文提出 V²-Net，一种分层轨迹预测模型，利用离散傅里叶变换（DFT）分析代理在不同频带下的运动偏好——低频用于捕捉粗粒度运动趋势，高频用于建模细粒度交互。该方法采用两阶段策略：首先在关键频率处估计谱成分，然后通过插值重建平滑且合理的轨迹，在 ETH-UCY 和 Stanford Drone 数据集上达到最先进性能。

ABSTRACT

Understanding and forecasting future trajectories of agents are critical for behavior analysis, robot navigation, autonomous cars, and other related applications. Previous methods mostly treat trajectory prediction as time sequence generation. Different from them, this work studies agents' trajectories in a "vertical" view, i.e., modeling and forecasting trajectories from the spectral domain. Different frequency bands in the trajectory spectrums could hierarchically reflect agents' motion preferences at different scales. The low-frequency and high-frequency portions could represent their coarse motion trends and fine motion variations, respectively. Accordingly, we propose a hierarchical network V$^2$-Net, which contains two sub-networks, to hierarchically model and predict agents' trajectories with trajectory spectrums. The coarse-level keypoints estimation sub-network first predicts the "minimal" spectrums of agents' trajectories on several "key" frequency portions. Then the fine-level spectrum interpolation sub-network interpolates the spectrums to reconstruct the final predictions. Experimental results display the competitiveness and superiority of V$^2$-Net on both ETH-UCY benchmark and the Stanford Drone Dataset.

研究动机与目标

• 为解决现有方法将轨迹预测视为序列生成所带来的局限，即在时间尺度上缺失分层运动偏好的建模。
• 探索使用傅里叶变换对轨迹进行‘垂直’频谱视角分析，以同时捕捉粗粒度与细粒度运动模式。
• 开发一种分层深度学习框架，分别建模全局规划（低频分量）与交互偏好（高频分量）。
• 通过谱重建引入场景约束与物理规则，提升预测轨迹的准确性和合理性。
• 通过调整谱关键点数量，实现可控的多模态轨迹生成。

提出的方法

• 模型采用双分支架构：粗粒度关键点估计子网络，用于预测选定关键频率处的谱分量。
• 细粒度谱插值子网络通过逆 DFT 在估计的谱关键点之间进行插值，重建完整轨迹。
• 在关键点子网络中引入潜在噪声向量 $ z \sim N(0,I) $，以生成多种随机预测，实现多模态输出。
• 该方法利用离散傅里叶变换（DFT）将二维轨迹序列转换为谱表示，分离低频与高频分量。
• 通过叠加插值谱中的正弦分量重建轨迹，确保时空连续性与平滑性。
• 模型通过重建损失与对抗性损失的组合进行训练，以提升预测轨迹的真实感与多样性。

实验结果

研究问题

• RQ1 在谱域中建模轨迹是否能揭示时间域中难以观察到的分层运动模式？
• RQ2 如何分别利用轨迹谱的低频与高频分量来建模粗粒度运动趋势与细粒度交互细节？
• RQ3 采用谱关键点与插值的两阶段分层框架，在多大程度上能提升轨迹预测的准确率与多样性？
• RQ4 谱关键点数量如何影响预测多样性与合理性之间的权衡？
• RQ5 与标准的循环序列建模相比，基于谱的建模是否能更有效地捕捉物理约束与社交交互规则？

主要发现

• V²-Net 在 ETH-UCY 基准与 Stanford Drone 数据集上均达到最先进性能，展现出卓越的预测精度。
• 增加谱关键点数量（$ N_{key} $）可通过更好约束运动趋势提升预测合理性，但过多关键点会降低多样性并导致性能下降。
• 由于 DFT 分量的正弦重建具有固有连续性，模型生成的轨迹更加平滑且符合物理现实。
• 可视化结果表明，V²-Net 遵循场景约束——例如避开草地或正确绕行交通环岛——显示出在复杂环境中的强泛化能力。
• 该方法成功捕捉多模态行为，如在交叉路口或交通环岛处存在多个合理路径选择，且选择符合上下文语境。
• 消融实验表明，与标准序列建模模型相比，该分层谱方法在定量指标与定性真实性方面均表现更优。