[论文解读] Multilingual Hierarchical Attention Networks for Document Classification

Nikolaos Pappas, Andréi Popescu-Belis|arXiv (Cornell University)|Jul 4, 2017

Topic Modeling参考文献 36被引用 48

一句话总结

该论文提出多语言层次注意力网络（MHAN），通过在不同语言间共享词和句子编码器和/或注意力机制，实现在文档分类中的跨语言迁移。该模型在低资源和全资源设置下均优于单语基线模型，且参数更少，即使在8种语言和600,000篇文档的不相交标签集场景下，也展现出有效的知识迁移能力。

ABSTRACT

Hierarchical attention networks have recently achieved remarkable performance for document classification in a given language. However, when multilingual document collections are considered, training such models separately for each language entails linear parameter growth and lack of cross-language transfer. Learning a single multilingual model with fewer parameters is therefore a challenging but potentially beneficial objective. To this end, we propose multilingual hierarchical attention networks for learning document structures, with shared encoders and/or attention mechanisms across languages, using multi-task learning and an aligned semantic space as input. We evaluate the proposed models on multilingual document classification with disjoint label sets, on a large dataset which we provide, with 600k news documents in 8 languages, and 5k labels. The multilingual models outperform strong monolingual ones in low-resource as well as full-resource settings, and use fewer parameters, thus confirming their computational efficiency and the utility of cross-language transfer.

研究动机与目标

• 为解决为每种语言分别训练单语层次注意力网络（HAN）所导致的计算效率低下以及缺乏跨语言迁移的问题。
• 在标签集跨语言不相交的场景下，实现有效的多语言文档分类，这是现实应用中常见但具有挑战性的场景。
• 通过多任务学习共享词和句子编码器、注意力机制等组件，减少参数增长。
• 评估不同共享策略（如共享编码器、共享注意力或两者兼有）在低资源和全资源设置下的有效性。

提出的方法

• 该模型采用层次化架构，包含词级别和句子级别的编码器，随后通过注意力机制在两个层次上聚合关键信息。
• 通过多任务学习，跨语言联合训练共享的编码器和/或注意力机制，以实现跨语言知识迁移。
• 输入表示源自对齐的语义空间，使多语言文档可在共享向量空间中直接比较。
• 使用交叉熵损失，通过所有语言的联合优化目标端到端训练模型。
• 评估三种架构：仅共享编码器、仅共享注意力，以及两者均共享；在不同语言对之间比较性能表现。
• 该框架支持低资源和全资源设置，性能通过大规模多语言新闻数据集上的宏F1和准确率进行衡量。

实验结果

研究问题

• RQ1 与单语模型相比，跨语言共享编码器和注意力机制是否能提升文档分类性能，尤其是在低资源设置下？
• RQ2 当标签集不相交时，来自高资源语言（如英语）的跨语言迁移是否能提升低资源语言（如阿拉伯语、俄语）的性能？
• RQ3 在不同语言对和资源水平下，哪种共享策略——共享编码器、共享注意力，或两者兼有——能取得最佳性能？
• RQ4 语言之间的相似性在多大程度上影响所提出的多语言HAN框架中跨语言迁移的有效性？
• RQ5 该多语言模型能否在广泛的主题和标签频率范围内泛化，包括罕见和特定标签？

主要发现

• 在低资源和全资源设置下，多语言模型均优于单语HAN模型，尤其在阿拉伯语和俄语等低资源语言上性能提升最为显著。
• 在低资源场景下，同时共享编码器和注意力机制的设置表现最佳，表明当结构化组件共享时，知识迁移更强。
• 在全资源场景下，仅共享注意力机制的设置表现最佳，表明当数据充足时，注意力机制的适配更具优势。
• 多语言模型与单语模型之间的真正例累积差异随标签频率降低而增大，表明罕见标签从跨语言迁移中获益显著。
• 在t-SNE投影中，模型实现了更好的主题分离，尤其在“欧洲”和“文化”等主题上，表明多语言知识带来了更优的语义聚类效果。
• 该框架计算效率高，参数量少于训练独立的单语模型，且无需共用标签集即可支持多语言分类。