[论文解读] Review Helpfulness Prediction with Embedding-Gated CNN

Cen Chen, Minghui Qiu+5 more|arXiv (Cornell University)|Aug 29, 2018

Sentiment Analysis and Opinion Mining参考文献 16被引用 7

一句话总结

本文提出了一种嵌入门控卷积神经网络（EG-CNN）模型，通过在多粒度表示（词、字符和主题）上使用自适应门控机制学习词级重要性权重，提升评论有用性预测性能。此外，该模型还整合了跨领域关系学习，将数据丰富的领域知识迁移至数据稀缺的领域，实现了最先进性能，尤其在'Watches'等低资源领域表现突出。

ABSTRACT

Product reviews, in the form of texts dominantly, significantly help consumers finalize their purchasing decisions. Thus, it is important for e-commerce companies to predict review helpfulness to present and recommend reviews in a more informative manner. In this work, we introduce a convolutional neural network model that is able to extract abstract features from multi-granularity representations. Inspired by the fact that different words contribute to the meaning of a sentence differently, we consider to learn word-level embedding-gates for all the representations. Furthermore, as it is common that some product domains/categories have rich user reviews, other domains not. To help domains with less sufficient data, we integrate our model into a cross-domain relationship learning framework for effectively transferring knowledge from other domains. Extensive experiments show that our model yields better performance than the existing methods.

研究动机与目标

• 通过在深度神经网络中引入自适应门控机制建模词级重要性，提升评论有用性预测性能。
• 通过从相关、数据丰富的领域有效迁移知识，缓解低资源产品领域中的数据稀缺问题。
• 整合多粒度表示（词、字符和主题级别），超越标准词嵌入，丰富特征学习。
• 构建一个整体框架，联合学习领域间相关性并跨领域迁移知识，以提升泛化能力。
• 通过学习到的门控权重，识别对有用性预测贡献最大的词语，提供可解释性洞察。

提出的方法

• 该模型采用多粒度输入表示，结合词级嵌入、字符级CNN特征和主题级分布，以增强语义理解。
• 引入词级门控机制，动态加权所有输入模态中每个词表示的重要性，使网络能够聚焦于语义显著的术语。
• 门控机制具有可微性，并与CNN联合训练，实现特征提取与相关词语关注的端到端学习。
• 集成领域关系学习模块，以建模源领域与目标领域之间的相关性，实现在多任务学习框架中的结构化知识迁移。
• 完整模型采用共享编码器与领域特定头结构，联合优化所有领域，利用共享特征与领域特异性特征。
• 该框架支持域内与跨域训练，通过在多个亚马逊产品类别上的回归指标评估性能。

实验结果

研究问题

• RQ1 门控CNN机制是否能通过学习词级重要性权重，超越标准CNN，在评论有用性预测中取得改进？
• RQ2 多粒度表示（词、字符、主题）如何增强评论有用性预测中的特征学习？
• RQ3 跨领域关系学习是否能有效实现从数据丰富领域到数据稀缺产品领域的知识迁移？
• RQ4 与完全共享或仅目标域模型相比，整合领域相关性建模是否能提升低资源领域的性能？
• RQ5 学习到的门控权重是否能提供可解释性洞察，识别出对评论有用性预测最具预测力的词语？

主要发现

• 所提出的EG-CNN模型在所有评估领域中均优于手工特征基线和普通CNN模型，证明了学习到的门控机制的有效性。
• 在仅包含10,000个标注评论的'Watches'领域中，模型取得0.535的F1分数，相比仅目标域基线（0.515）实现3.9%的相对提升。
• 完全共享模型在'Home'领域表现劣于仅目标域模型（0.518 vs. 0.541），表明当存在领域偏移时，盲目知识迁移可能损害性能。
• 所提模型在所有领域中均取得最高F1分数，相比仅目标域基线提升0.013至0.027，尤其显著提升了低资源领域性能。
• 门控权重提供可解释性洞察，门控值越高，表示对有用性预测的贡献越大——例如，'great battery life'等描述性短语获得更高关注。
• 领域关系学习模块成功识别并利用有意义的跨领域相关性，实现有效迁移学习，且无负迁移现象。