[论文解读] StackSeq2Seq: Dual Encoder Seq2Seq Recurrent Networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Oct 11, 2017

Machine Learning in Bioinformatics参考文献 11被引用 4

一句话总结

该论文提出StackSeq2Seq，一种双编码器Seq2Seq循环网络，通过结合LSTM和GRU编码器的上下文向量，提升了图上最短路径预测的性能。当结合基于同伦延续的损失平滑技术时，最短路径预测准确率达到59.6%，成功路径预测准确率达到78.3%，较单编码器模型提升10%。

ABSTRACT

A widely studied non-deterministic polynomial time (NP) hard problem lies in finding a route between the two nodes of a graph. Often meta-heuristics algorithms such as $A^{*}$ are employed on graphs with a large number of nodes. Here, we propose a deep recurrent neural network architecture based on the Sequence-2-Sequence (Seq2Seq) model, widely used, for instance in text translation. Particularly, we illustrate that utilising a context vector that has been learned from two different recurrent networks enables increased accuracies in learning the shortest route of a graph. Additionally, we show that one can boost the performance of the Seq2Seq network by smoothing the loss function using a homotopy continuation of the decoder's loss function.

研究动机与目标

• 提升循环神经网络在可变序列长度图中学习和泛化最短路径的能力。
• 探究结合两种不同循环编码器（LSTM与GRU）是否能提升序列建模保真度，相比单编码器架构。
• 评估同伦延续对损失函数平滑的影响，以提升训练稳定性和路径预测准确率。
• 评估潜在维度增加或编码器动态改善是否驱动了序列到序列学习中图路径查找的性能提升。
• 为传统元启发式算法（如A*）提供一种可扩展、可微分的替代方案，而不取代它们。

提出的方法

• 该模型采用双编码器架构：一个LSTM和一个GRU，分别将图路径的源节点和目标节点编码为独立的隐藏状态。
• 两个编码器的上下文向量被拼接，形成一个512维的联合潜在表征，作为解码器的初始隐藏状态。
• 解码器通过嵌入的节点表征，逐 token 生成预测路径，并使用注意力机制关注相关编码器状态。
• 通过使用标准差σ ∈ {30, 5, 1, 0.0001}的高斯核对损失函数进行扩散，应用基于同伦延续的损失平滑技术，以提升优化稳定性。
• 使用Adam优化器进行训练，β₁ = 0.9，β₂ = 0.999，初始学习率为10⁻³，共训练400个周期。
• 训练使用明尼苏达州公路网络图（376个节点，455条边）上通过A*算法生成的路径，按67-33%的比例划分训练集与测试集，路径平均长度为19跳。

实验结果

研究问题

• RQ1 结合两种不同循环编码器（LSTM与GRU）是否能提升Seq2Seq网络在图最短路径预测中的序列建模准确率？
• RQ2 通过同伦延续实现的损失函数平滑是否能增强Seq2Seq模型在路径查找任务中的泛化能力与收敛性？
• RQ3 将上下文向量潜在维度从256提升至512，其对路径预测性能的提升程度，与架构多样性相比如何？
• RQ4 双编码器架构在最短路径恢复与成功路径生成方面是否优于单编码器模型？
• RQ5 在受控路径查找环境中，模型性能如何随序列长度与图复杂度的增加而变化？

主要发现

• 双编码器模型（LSTM + GRU）在最短路径上达到57.7%的准确率，在成功路径上达到77.1%，相比单编码器模型提升10%。
• 当使用基于同伦延续的损失平滑训练时，双编码器模型在最短路径上的准确率达到59.6%，在成功路径上达到78.3%，相比未平滑版本相对提升2%。
• 将隐藏状态维度从256加倍至512仅带来微小改进——最短路径准确率提升1%，成功路径准确率提升0.2–1.6%，表明编码器动态比容量更重要。
• 双编码带来的性能增益源于LSTM与GRU互补的动力学特性，而非潜在维度增加，这一点在不同隐藏单元数量下均保持一致。
• 该模型成功泛化至更长序列，平均路径长度为19跳，在非凸优化景观下仍保持序列重建的保真度。
• 使用A*作为真实路径生成器，确保所有训练与测试路径均为最优路径，从而可公平评估模型对NP难最短路径解的近似能力。