[论文解读] Structural Correspondence Learning for Cross-lingual Sentiment Classification with One-to-many Mappings

Nana Li, Shuangfei Zhai+2 more|arXiv (Cornell University)|Nov 26, 2016

Sentiment Analysis and Opinion Mining参考文献 17被引用 4

一句话总结

本文提出SCL-OM，一种跨语言情感分类方法，利用分布式词表示学习英语与中文之间pivot特征的一对多映射，避免依赖平行语料库。该方法在NLP&CC 2013数据集上实现了81.4%的平均准确率，通过利用单语料料和少量双语词典，超越了最先进方法。

ABSTRACT

Structural correspondence learning (SCL) is an effective method for cross-lingual sentiment classification. This approach uses unlabeled documents along with a word translation oracle to automatically induce task specific, cross-lingual correspondences. It transfers knowledge through identifying important features, i.e., pivot features. For simplicity, however, it assumes that the word translation oracle maps each pivot feature in source language to exactly only one word in target language. This one-to-one mapping between words in different languages is too strict. Also the context is not considered at all. In this paper, we propose a cross-lingual SCL based on distributed representation of words; it can learn meaningful one-to-many mappings for pivot words using large amounts of monolingual data and a small dictionary. We conduct experiments on NLP\&CC 2013 cross-lingual sentiment analysis dataset, employing English as source language, and Chinese as target language. Our method does not rely on the parallel corpora and the experimental results show that our approach is more competitive than the state-of-the-art methods in cross-lingual sentiment classification.

研究动机与目标

• 为解决跨语言结构对应学习（CL-SCL）中一对一词映射的局限性，该方法假设严格的单字翻译。
• 通过在源语言和目标语言的pivot特征之间学习更灵活、上下文感知的一对多映射，提升跨语言情感分类性能。
• 通过利用单语语料和少量双语词典来学习映射，降低对平行语料库的依赖。
• 通过使用分布式表示将情感知识从英语迁移至中文，提升低资源语言场景下的性能。

提出的方法

• 通过将分布式词表示整合到CL-SCL框架中，提出引入一对多映射的结构对应学习（SCL-OM）。
• 使用单语语料库训练英语和中文的密集词嵌入，以实现上下文敏感的向量表示。
• 应用词相似度阈值（φ = 0.1）基于向量相似度识别每个源语言pivot特征对应的目标语言多个词语。
• 采用最小支持δ = 30的pivot特征选择机制，以确保学习到的对应关系具有鲁棒性和相关性。
• 通过共享pivot特征对齐源语言和目标语言特征，构建维度为k（最优值为110–120）的跨语言表示。
• 利用少量双语词典初始化词翻译候选，随后通过分布式表示和相似度阈值进行优化。

实验结果

研究问题

• RQ1 在源语言和目标语言的pivot特征之间使用一对多映射，是否能超越一对一映射，提升跨语言情感分类性能？
• RQ2 使用分布式词表示如何提升情感分类中跨语言对应关系的质量与灵活性？
• RQ3 单语语料和少量双语词典在多大程度上可以替代大规模平行语料库用于跨语言迁移学习？
• RQ4 关键超参数（如pivot数量m、跨语言维度k）的最优配置是什么，以最大化分类准确率？

主要发现

• SCL-OM在NLP&CC 2013跨语言情感分类数据集上实现了81.4%的平均准确率，超越了最先进方法。
• 在Books和Music类别中，k = 120时性能最佳；在DVD类别中，k = 110时表现最优，表明最优维度具有类别特异性。
• 性能在k ∈ (100, 150)范围内达到峰值，当k超过150时准确率下降，表明表示能力与噪声之间存在权衡。
• pivot数量m存在收益递减效应，较小的m（如300）已能捕获大部分相关跨语言对应关系。
• 可视化结果证实，SCL-OM学习到了语义上有意义的一对多映射，例如'fun'可映射至多个中文词语如 好玩, 有趣, and 搞笑，相比一对一翻译更具上下文准确性。
• 该方法即使无需平行训练或测试数据，也优于CL-SCL和联合训练基线，证明了其鲁棒性与高效性。