[论文解读] The warm-start bias of Yelp ratings

Michalis Potamias|arXiv (Cornell University)|Feb 26, 2012

Innovation Diffusion and Forecasting参考文献 5被引用 11

一句话总结

本文識別出Yelp評分中的「暖機偏差」，即初期評論（平均4.1顆星）顯著高估了商家的長期聲譽，至第20則評論時，平均分下降至3.69顆星。作者透過時間排序的評論分析修正此偏差，並證明此偏差導致對Groupon負面聲譽影響的評估高估達240%，揭示了評論數量與平均分之間存在反相關關係。

ABSTRACT

Yelp ratings are often viewed as a reputation metric for local businesses. In this paper we study how Yelp ratings evolve over time. Our main finding is that on average the first ratings that businesses receive overestimate their eventual reputation. In particular, the first review that a business receives in our dataset averages 4.1 stars, while the 20th review averages just 3.69 stars. This significant warm-start bias which may be attributed to the limited exposure of a business in its first steps may mask analysis performed on ratings and reputational ramifications. Therefore, we study techniques to identify and correct for this bias. Further, we perform a case study to explore the effect of a Groupon deal on the merchant's subsequent ratings and show both that previous research has overestimated Groupon's effect to merchants' reputation and that average ratings anticorrelate with the number of reviews received. Our analysis points to the importance of identifying and removing biases from Yelp reviews.

研究动机与目标

• 識別並量化Yelp評分中影響聲譽分析的系統性偏差。
• 修正初期評論中導致長期商家聲譽被高估的暖機偏差。
• 利用偏差修正後的Yelp資料，重新評估Groupon優惠活動的聲譽影響。
• 探究在線聲譽系統中評論數量與平均分之間的關係。
• 強調在線評論平台中偏差檢測與修正的重要性，以實現準確的聲譽分析。

提出的方法

• 作者依評論收到的時間順序分析Yelp評分，將評論按其順序分組（例如第1則、第2則、第20則），以檢測時間偏差。
• 透過移除初期評論的影響，建立「YelpUnbiased」資料集，以隔離真實的聲譽趨勢。
• 透過案例研究結合Yelp資料與Groupon優惠資料，比較Groupon曝光前後的聲譽變化。
• 使用95%信賴區間確保可靠性，對不同時間區段的平均分數與評論數量進行統計分析。
• 計算平均分數與評論數量之間的相關係數，以評估反相關趨勢。
• 比較有偏差的Yelp資料集與修正後的YelpUnbiased資料集的結果，以量化聲譽影響被高估的程度。

实验结果

研究问题

• RQ1 初期Yelp評論是否系統性地高估商家的長期聲譽？
• RQ2 初期評論中的暖機偏差在多大程度上扭曲了對外部事件（如Groupon優惠）後聲譽變化的分析？
• RQ3 每月評論數量與平均分之間的相關性如何？這對評論真實性有何含義？
• RQ4 在修正暖機偏差後，Groupon優惠的真正聲譽影響為何？
• RQ5 為何在Groupon優惠後才開始Yelp聲譽活動的商家，其評論中不存在暖機偏差？

主要发现

• 商家的第一則評論平均為4.1顆星，但至第20則評論時，平均分下降至3.69顆星，顯示顯著的暖機偏差。
• 暖機偏差導致對Groupon聲譽影響的高估達240%，因為有偏差資料集報告的分數下降為0.12顆星，而修正後資料僅顯示0.05顆星的下降。
• 在去除偏差後，Groupon優惠後的20至40則評論區間，平均分下降0.04顆星，整體則下降0.05顆星，顯示存在微弱但可測量的聲譽下降。
• 在完整資料集中，平均分數與評論數量的相關係數為-0.36；在Groupon後期，相關係數為-0.41，顯示顯著的反相關關係。
• 在Groupon優惠後才開始Yelp聲譽活動的商家，其評論中未出現暖機偏差，顯示更廣泛的觀眾曝光可能導致初期評論更具真實性。
• 由於商家代表性不均，特別是第0個月（3,994家商家）與後期月份（例如第5個月僅135家商家）之間的差異，早期月份的信賴區間較寬。