[论文解读] Unsupervised Domain Adaptation with Feature Embeddings

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Dec 14, 2014

Domain Adaptation and Few-Shot Learning参考文献 13被引用 3

一句话总结

本文提出Fema，一种新颖的无监督域自适应方法，通过使用负采样跳字模型学习密集特征嵌入，利用自然语言处理中的模板结构特征。在从新闻文本到网络文本的词性标注域自适应任务中，其平均性能优于SCL和mDA等先前表示学习方法1%，且无需进行任务特定的枢轴特征选择，达到了当前最优结果。

ABSTRACT

Representation learning is the dominant technique for unsupervised domain adaptation, but existing approaches often require the specification of "pivot features" that generalize across domains, which are selected by task-specific heuristics. We show that a novel but simple feature embedding approach provides better performance, by exploiting the feature template structure common in NLP problems.

研究动机与目标

• 解决现有无监督域自适应方法依赖于任务特定启发式方法选择枢轴特征的局限性。
• 通过学习捕捉特征模板间共现模式的密集低维特征嵌入，提升自然语言处理中的跨域泛化能力。
• 消除使用广泛特征共现统计与保持高效表示学习之间的计算权衡。
• 为结构化特征空间中的重建基表示学习方法提供一种简单、可扩展且高效的方法替代方案。

提出的方法

• Fema使用跳字模型在源域和目标域数据的并集上进行负采样训练，为每个特征学习独立的输入和输出嵌入。
• 模型利用特征的输入嵌入预测邻近模板中的激活特征，通过使用Sigmoid激活函数和负采样来优化目标函数。
• 将各模板中的特征嵌入进行拼接，形成每个实例的密集表示，随后通过拼接与原始特征向量结合。
• 对拼接后的嵌入应用双曲正切函数，以引入非线性并提升表示的鲁棒性。
• 最终的增强特征表示结合了原始特征与嵌入特征，使下游模型（如SVM）能在不同领域间实现更好的泛化。
• 该方法利用了自然语言处理特征空间中常见的模板结构，即每个模板在每个实例中恰好贡献一个激活特征。

实验结果

研究问题

• RQ1 基于特征嵌入的表示学习方法是否能在无监督域自适应中优于基于枢轴特征重建的方法？
• RQ2 直接从特征共现模式学习嵌入是否能提升词性标注中的跨域泛化能力？
• RQ3 基于跳字模型并结合负采样的方法能否有效应用于自然语言处理中的结构化特征模板？
• RQ4 在域自适应任务中，Fema与SCL、mDA和word2vec相比，在性能和效率上表现如何？

主要发现

• 在SANCL测试集上，Fema在所有目标领域上的平均准确率达到92.60%，比基线高出4.15个百分点。
• 在开发集上，Fema在新sgroups上的准确率为91.26%，在reviews上为92.82%，在weblogs上为94.95%，在answers上为90.69%，在emails上为89.72%，除reviews上略低于FLORS外，优于所有竞争方法。
• Fema平均优于SCL和mDA约1%，对应性能上相对误差减少10%。
• 该方法在24核机器上使用gensim训练约需70分钟，比SCL更快，且与mDA相当。
• Fema消除了对任务特定枢轴特征选择的需求，简化了自适应流程并降低了对启发式方法的依赖。