[论文解读] Neural Structural Correspondence Learning for Domain Adaptation

Yftah Ziser, Roi Reichart|arXiv (Cornell University)|Oct 5, 2016

Topic Modeling参考文献 30被引用 8

一句话总结

本文提出神经结构对应学习（Neural SCL），一种三层神经网络，通过重建跨领域共享的枢纽特征（pivot features）来学习非枢纽特征的低维表示，从而实现跨领域情感分类。通过将预训练词嵌入固定到解码矩阵中，该模型提升了泛化能力，并在16组领域对上实现了最先进性能，优于SCL、MSDA和MSDA-DAN基线模型。

ABSTRACT

Domain adaptation, adapting models from domains rich in labeled training data to domains poor in such data, is a fundamental NLP challenge. We introduce a neural network model that marries together ideas from two prominent strands of research on domain adaptation through representation learning: structural correspondence learning (SCL, (Blitzer et al., 2006)) and autoencoder neural networks. Particularly, our model is a three-layer neural network that learns to encode the nonpivot features of an input example into a low-dimensional representation, so that the existence of pivot features (features that are prominent in both domains and convey useful information for the NLP task) in the example can be decoded from that representation. The low-dimensional representation is then employed in a learning algorithm for the task. Moreover, we show how to inject pre-trained word embeddings into our model in order to improve generalization across examples with similar pivot features. On the task of cross-domain product sentiment classification (Blitzer et al., 2007), consisting of 12 domain pairs, our model outperforms both the SCL and the marginalized stacked denoising autoencoder (MSDA, (Chen et al., 2012)) methods by 3.77% and 2.17% respectively, on average across domain pairs.

研究动机与目标

• 为解决自然语言处理中目标领域标注数据稀缺的无监督领域自适应挑战。
• 通过结合传统结构对应学习（SCL）与现代基于神经自编码器方法的优势，弥合两者之间的差距。
• 通过枢纽特征重建学习解耦的、领域不变的表征，以提升跨领域情感分类性能。
• 通过在神经网络解码层中注入预训练词嵌入，提升模型泛化能力。

提出的方法

• 模型使用前馈神经网络将输入的非枢纽特征编码为低维隐藏表征。
• 与标准自编码器不同，该模型不直接重建输入特征，而是从隐藏表征解码以预测枢纽特征的存在。
• 第二个更先进的模型将学习到的解码矩阵替换为枢纽特征的预训练词嵌入固定矩阵。
• 枢纽特征存在的概率被建模为该特征嵌入与隐藏表征点积的非线性函数。
• 模型使用随机梯度下降在源域和目标域的无标注数据上进行端到端训练，并基于验证误差采用早停策略。
• 通过使用标注的开发集对每个领域对的超参数（如枢纽数量和隐藏维度）进行调优。

实验结果

研究问题

• RQ1 神经网络模型能否通过从非枢纽特征重建枢纽特征，有效学习跨领域的共享表征？
• RQ2 在解码层中引入预训练词嵌入是否能提升跨领域情感分类中的泛化能力？
• RQ3 Neural SCL在跨领域情感分类中与SCL、MSDA和MSDA-DAN等强基线模型相比表现如何？
• RQ4 当学习领域不变表征时，模型在多大程度上受益于枢纽特征嵌入的语义相似性？

主要发现

• 所提出的Neural SCL模型在16组跨领域情感分类任务中，显著优于SCL、MSDA和MSDA-DAN等强基线模型。
• 使用固定预训练嵌入的模型（AE-SCL-SR）优于端到端训练版本（AE-SCL），表明预训练嵌入有助于提升泛化能力。
• 使用word2vec嵌入作为枢纽特征嵌入，使模型能够为语义相似但表面形式不同的文档学习到相似的隐藏表征。
• 模型在不同领域对上表现稳健，无论数据配置为平衡或不平衡，均保持一致的性能提升。
• 在标注开发数据上进行超参数调优显著提升了模型性能，且最优设置因领域对而异。
• 即使仅使用无标注数据进行表征学习，该模型仍能达到最先进性能，证明了在神经框架中基于枢纽的对应学习方法的有效性。