[论文解读] User Reviews and Language: How Language Influences Ratings

Scott A. Hale|arXiv (Cornell University)|May 6, 2016

Digital Marketing and Social Media参考文献 11被引用 3

一句话总结

本研究分析了TripAdvisor上伦敦旅游景点的多语言用户评分，发现不同语言间的评分总体上高度相关，但不同语言对之间存在显著差异。主要贡献在于揭示了将所有语言的评分平均可能具有误导性，因为某些语言（如德语、法语）与其他语言的相关性更强，而另一些语言（如日语、俄语）则相关性较弱，表明在决策时应考虑语言特异性的影响。

ABSTRACT

The number of user reviews of tourist attractions, restaurants, mobile apps, etc. is increasing for all languages; yet, research is lacking on how reviews in multiple languages should be aggregated and displayed. Speakers of different languages may have consistently different experiences, e.g., different information available in different languages at tourist attractions or different user experiences with software due to internationalization/localization choices. This paper assesses the similarity in the ratings given by speakers of different languages to London tourist attractions on TripAdvisor. The correlations between different languages are generally high, but some language pairs are more correlated than others. The results question the common practice of computing average ratings from reviews in many languages.

研究动机与目标

• 评估不同语言的用户评论是否可以有意义地聚合为旅游景点的单一平均评分。
• 调查不同语言使用者对同一伦敦旅游景点给出的星级评分之间的相关程度。
• 评估用户体验和评论行为中的语言差异对多语言电子商务和界面设计的影响。
• 探讨文化和语言因素如何影响评分行为，以及外语评论在决策中的感知相关性。

提出的方法

• 2015年7月从tripadvisor.co.uk爬取了3,040个伦敦旅游景点的516,641条评论。
• 利用机器翻译链接参数识别每条评论的语言，并通过Compact Language Detection (CLD) 工具包进行验证。
• 提取用于分析的星级评分、用户ID、评论日期和作者所在地信息。
• 计算不同语言间评分的成对相关系数，以评估相似性。
• 分析用户行为，包括多语言评论撰写和评论频率，以评估用户活动模式。
• 使用统计检验（p < 0.001）比较单语用户与多语用户之间的评论活动差异。

实验结果

研究问题

• RQ1 不同语言用户对同一伦敦旅游景点给出的星级评分有多相似？
• RQ2 哪些语言对之间的评分相关性最高，哪些最低？
• RQ3 多语言用户与单语用户相比，在评论行为上有多大差异？
• RQ4 语言对之间的相关性在多大程度上影响了外语评论对决策的有用性？

主要发现

• 不同语言间评分的相关性总体较高，所有语言对的中位相关系数为0.68。
• 德语、挪威语和法语评分与其他语言的相关性最强，表明跨语言一致性更高。
• 日语、葡萄牙语和俄语评分的相关性最弱，表明对其他语言使用者的预测相关性较低。
• 撰写多语言评论的用户更活跃，人均发表5.1条评论，而单语用户为3.8条（p < 0.001）。
• 64%的用户仅撰写了一条评论，仅1%的用户撰写了超过一种语言的评论，尽管多语用户整体更活跃。
• 相关性结构表明，某些语言的评分可能比其他语言更能反映母语使用者的潜在体验，具体取决于其母语。