[论文解读] Multiresolution Transformer Networks: Recurrence is Not Essential for Modeling Hierarchical Structure

Vikas Garg, Inderjit S. Dhillon+1 more|arXiv (Cornell University)|Aug 27, 2019

Topic Modeling参考文献 41被引用 4

一句话总结

本文提出多分辨率Transformer网络（MTNs），一种基于自注意力机制的架构，无需循环结构即可建模序列中的层次结构，通过利用多个分辨率层级（如查询级和会话级）来提升性能。MTNs在AOL和OnlineX等数据集上的查询建议任务中显著优于当前最先进的一流循环神经网络和层次化模型，BLEU分数提升超过25%，精确率提升20%以上。

ABSTRACT

The architecture of Transformer is based entirely on self-attention, and has been shown to outperform models that employ recurrence on sequence transduction tasks such as machine translation. The superior performance of Transformer has been attributed to propagating signals over shorter distances, between positions in the input and the output, compared to the recurrent architectures. We establish connections between the dynamics in Transformer and recurrent networks to argue that several factors including gradient flow along an ensemble of multiple weakly dependent paths play a paramount role in the success of Transformer. We then leverage the dynamics to introduce {\em Multiresolution Transformer Networks} as the first architecture that exploits hierarchical structure in data via self-attention. Our models significantly outperform state-of-the-art recurrent and hierarchical recurrent models on two real-world datasets for query suggestion, namely, \aol and \amazon. In particular, on AOL data, our model registers at least 20\% improvement on each precision score, and over 25\% improvement on the BLEU score with respect to the best performing recurrent model. We thus provide strong evidence that recurrence is not essential for modeling hierarchical structure.

研究动机与目标

• 探究循环机制在建模序列数据层次结构时是否必不可少。
• 开发一种基于自注意力机制的架构，以在不使用循环结构的情况下捕捉多分辨率依赖关系。
• 通过利用用户搜索行为的层次特性，提升真实世界数据集上的查询建议性能。
• 证明注意力机制在建模长距离和层次依赖关系方面可超越循环模型。
• 为用结构化注意力替代循环机制提供实证和理论依据。

提出的方法

• 提出多分辨率Transformer网络（MTNs），在不同分辨率层级（如查询级和会话级）使用独立的自注意力层来建模层次结构。
• 引入两级编码器结构：查询级（Q）和会话级（S）层，其中会话级层关注来自同一会话的查询序列。
• 设计一个解码器，通过结合查询级和会话级表示，自回归地生成下一个查询。
• 采用多头自注意力机制，配合残差连接和层归一化，与标准Transformer类似，但应用于多个分辨率层级。
• 采用端到端优化，使用交叉熵损失进行下一个查询预测，使用BLEU进行序列级评估。
• 通过调整层数并保持模型大小相近，将MTNs与标准Transformer和层次化RNN进行比较。

实验结果

研究问题

• RQ1 自注意力机制是否能在无循环结构的情况下有效建模序列中的层次结构？
• RQ2 基于多分辨率注意力的模型在查询建议任务中，与当前最先进的一流循环神经网络和层次化RNN模型相比，性能如何？
• RQ3 与单层注意力相比，多个分辨率层级（如查询级和会话级）在建模用户搜索意图方面能提升多少？
• RQ4 MTNs的性能提升是源于更好的梯度传播、集成效应，还是显式的层次结构建模？
• RQ5 MTNs能否在参数量与深度、宽度相近的情况下，超越标准Transformer在建模层次依赖关系方面的表现？

主要发现

• 在AOL数据集上，MTNs的BLEU分数达到14.62，比表现最佳的循环模型高出超过25%，而标准Transformer的BLEU分数为13.90。
• 在AOL数据集上，MTNs在1-gram和4-gram精确率上相比最佳循环模型至少提升20%，在3-和4-gram精确率上更是高出50%。
• 在OnlineX和AOL两个数据集上，MTNs在所有精确率指标上均优于所有基线模型，其中3-和4-gram精确率的差距最大，达到40%。
• 即使总层数相同，MTNs采用3层查询级和2层会话级编码器的结构，也优于使用4或5层编码器的标准Transformer。
• 移除会话级层或将之替换为额外的Transformer编码器层，均导致性能显著下降，表明多分辨率设计的必要性。
• 定性分析显示，MTN生成的建议更能反映用户在多次搜索优化过程中意图的演变，例如在搜索'mini glad containers'后，能合理建议'lunch bag cold pack'。