[论文解读] Natural Language Multitasking - Analyzing and Improving Syntactic Saliency of Hidden Representations

Gino Brunner, Yuyi Wang+2 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling被引用 1

一句话总结

本文提出在语言学任务上训练多任务自编码器，以提升隐藏句子表征中的句法显著性。通过添加翻译和词性标注解码器，模型学习到解耦的、具有句法意义的表征，从而实现句子之间的有意义插值和向量运算。

ABSTRACT

We train multi-task autoencoders on linguistic tasks and analyze the learned hidden sentence representations. The representations change significantly when translation and part-of-speech decoders are added. The more decoders a model employs, the better it clusters sentences according to their syntactic similarity, as the representation space becomes less entangled. We explore the structure of the representation space by interpolating between sentences, which yields interesting pseudo-English sentences, many of which have recognizable syntactic structure. Lastly, we point out an interesting property of our models: The difference-vector between two sentences can be added to change a third sentence with similar features in a meaningful way.

研究动机与目标

• 研究多任务学习如何提升神经网络句子表征中的句法显著性。
• 分析添加多样化解码器（例如翻译和词性标注）如何改变表征空间的结构。
• 评估学习到的表征是否支持通过向量运算实现有意义的句子插值和变换。
• 理解表征解耦程度与句法相似性聚类之间的相关性。

提出的方法

• 训练具有共享编码器和多个用于不同语言学任务的解码器的多任务自编码器。
• 使用句子重建、词性标注和机器翻译作为解码器头。
• 通过句子表征之间的插值生成中间伪句子。
• 通过将两句话之间的差异向量加到第三句话上，执行向量运算。
• 通过基于句法相似性的句子聚类来评估表征质量。
• 通过生成插值和变换的定性分析，分析潜在空间的结构。

实验结果

研究问题

• RQ1 添加多个解码器如何影响学习到的句子表征的句法结构？
• RQ2 句子之间插值得到的表征在在多大程度上保持句法合理性？
• RQ3 两个句子之间的差异向量能否被有意义地用于变换第三句话？
• RQ4 多任务训练在多大程度上减少了表征空间中的纠缠？
• RQ5 表征解耦与句法相似性聚类之间存在何种关系？

主要发现

• 添加翻译和词性标注解码器显著提升了隐藏表征中的句法显著性。
• 随着解码器数量的增加，表征空间的纠缠程度降低，句子按句法相似性聚类得更好。
• 句子表征之间的插值能生成具有可识别句法结构的伪英语句子。
• 可以将两个句子之间的差异向量加到第三句话上，生成有意义且语境连贯的修改。
• 模型的表征支持保留句法和语义一致性的向量运算。
• 学习到的表征表现出改进的解耦性，从而支持更可解释和结构化的变换。