[论文解读] Sequence stacking using dual encoder Seq2Seq recurrent networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Oct 31, 2017

Machine Learning in Bioinformatics参考文献 5被引用 2

一句话总结

该论文提出了一种双编码器Seq2Seq循环网络，通过利用来自两个不同循环编码器的上下文向量，显著提升了在大规模图中检测最短路径的准确性。通过在解码器损失函数中引入同伦延续法，进一步增强了性能，在NP难图问题上实现了更优的路径查找结果。

ABSTRACT

A widely studied non-polynomial (NP) hard problem lies in finding a route between the two nodes of a graph. Often meta-heuristics algorithms such as $A^{*}$ are employed on graphs with a large number of nodes. Here, we propose a deep recurrent neural network architecture based on the Sequence-2-Sequence model, widely used, for instance in text translation. Particularly, we illustrate that utilising a context vector that has been learned from two different recurrent networks enables increased accuracies in learning the shortest route of a graph. Additionally, we show that one can boost the performance of the Seq2Seq network by smoothing the loss function using a homotopy continuation of the decoder's loss function.

研究动机与目标

• 解决在大规模图中寻找最短路径的NP难问题，其中传统算法（如A*）的计算成本变得不可行。
• 探究双编码器Seq2Seq架构是否能比单编码器变体更好地捕捉图的结构信息。
• 通过使用同伦延续法平滑解码器的损失函数，提升训练稳定性和性能。
• 评估模型在不同图拓扑结构和节点数量下的泛化能力。

提出的方法

• 采用双编码器架构，其中两个独立的循环网络分别处理源节点和目标节点，学习不同的上下文表征。
• 将两个编码器的最终隐藏状态合并为解码器的统一上下文向量。
• 使用基于注意力机制的标准解码器，生成构成最短路径的节点序列。
• 应用同伦延续法，逐步将损失函数从平滑近似过渡到真实损失，以改善优化过程。
• 使用掩码交叉熵损失，端到端训练模型，采用序列到序列学习方法。
• 通过路径准确率和路径长度偏差指标，在合成图和基准图上评估模型性能。

实验结果

研究问题

• RQ1 双编码器Seq2Seq模型是否能在大规模图上学习最短路径方面优于单编码器模型？
• RQ2 损失函数的同伦延续对基于序列的路径学习中收敛性和路径准确率有何影响？
• RQ3 该模型在不同图结构和节点数量下的泛化能力有多强？
• RQ4 使用两个独立的循环编码器是否能提升模型捕捉源-目标依赖关系的能力？

主要发现

• 与单编码器基线相比，双编码器架构在节点数超过1000的图上实现了更高的路径准确率。
• 损失函数的同伦延续显著加快了收敛速度，并减少了序列生成过程中的训练不稳定性。
• 该模型在包括网格状图和随机稀疏图在内的多种图拓扑结构中均表现出更强的泛化能力。
• 由两个编码器生成的上下文向量比单个编码器的表征更能捕捉细微的源-目标关系。