[论文解读] Price Experimentation and Interference

Ramesh Johari, Page, Orrie B.+1 more|arXiv (Cornell University)|Oct 26, 2023

Digital Platforms and Economics被引用 5

一句话总结

本文識別出在線上平台定價實驗的 A/B 測試中存在一種關鍵偏差，即使用者之間的干擾導致標準估計器錯誤地估計利潤變動——可能建議提高定價，反而降低利潤。作者利用結構模型與微分微積分，推導出估計處理效果符號錯誤的條件，特別是在收益管理與雙邊市場情境下。

ABSTRACT

In this paper, we examine the biases that arise when firms run A/B tests on continuous parameters to estimate global treatment effects on performance metrics of interest; we particularly focus on price experiments to measure the price impact on quantity demanded, and on profit. In canonical A/B experimental estimators, biases emerge due to interference between market participants. We employ structural modeling and differential calculus to derive intuitive characterizations of these biases. We then specialize our general model to the standard revenue-management pricing problem. This setting highlights a fundamental risk innate to A/B pricing experiments: that the canonical estimator for the expected change in profits, counterintuitively, can have the wrong sign in expectation. In other words, following the guidance of canonical estimators may lead firms to move prices (or fees) in the wrong direction, inadvertently decreasing profits. We introduce a novel debiasing technique for these canonical experiments, requiring only that firms equally split units between treatment and control. We apply these results to a two-sided market model, and demonstrate how the "change of sign" regime depends on market factors such as the supply/demand imbalance, and the price markup. We conclude by calibrating our revenue-management pricing model to published empirical estimates from Airbnb marketplaces, demonstrating that estimators with the wrong sign are not a knife-edge issue, and that they may be prevalent enough to be of concern to practitioners.

研究动机与目标

• 分析當連續參數（如定價）被操縱時，A/B 測試中的偏差，特別是市場參與者之間干擾所導致的影響。
• 解釋為何標準實驗設計中的標準估計器會因干擾而產生具有誤導性的結果——特別是在利潤估計方面。
• 利用微分微積分與混合偏導數，推導偏差的結構特徵以量化干擾效應。
• 研究利潤估計處理效果符號錯誤的情況，進而導致企業做出次優定價決策。
• 將研究成果應用於雙邊市場平台，並識別符號翻轉最可能發生的參數範圍。

提出的方法

• 使用結構模型來描述平台動態，整合需求、供給與定價互動。
• 應用微分微積分，以控制組與處理組之間的混合偏導數表達偏差。
• 將一般模型專用於具有連續定價變動的標準收益管理問題。
• 利用價格需求交叉彈性與市場平衡參數，推導「符號翻轉」偏差的解析條件。
• 比較兩種實驗設計：清單隨機化（LR）與控制隨機化（CR），分析其在極限情況下的偏差行為。
• 使用數值模擬與視覺化（例如偏差對定價與市場平衡的圖形）來展示偏差模式與符號翻轉區域。

实验结果

研究问题

• RQ1 在何種條件下，A/B 測試中的干擾會導致標準估計器錯誤估計利潤的全局處理效果？
• RQ2 控制組與處理組之間的交叉效應（以混合偏導數衡量）如何特徵化標準定價實驗中的偏差？
• RQ3 在哪些參數範圍內，估計的利潤變動會與真實的全局處理效果符號相反？
• RQ4 在不同市場平衡範圍內，清單隨機化（LR）與控制隨機化（CR）實驗的偏差有何差異？
• RQ5 價格彈性、成本結構與市場約束（需求對供給）在決定利潤估計符號翻轉機率方面扮演何種角色？

主要发现

• 定價實驗中利潤變動的標準估計器可能具有錯誤符號，導致企業提高定價，反而使利潤低於現狀。
• 利潤估計偏差與控制組與處理組利潤對彼此定價變數的混合偏導數成正比，提供了干擾的結構特徵。
• 在低市場平衡（需求受限）極限下，CR 實驗變為無偏，而 LR 實驗仍具偏差；在高平衡（供給受限）下，情況相反。
• 「符號翻轉」範圍——即估計效果與真實全局處理效果相反——發生在中等市場平衡範圍內，且在定價空間中形成連續區間。
• CR 實驗的符號翻轉機率隨市場平衡增加而提高，LR 實驗則相反，顯示存在一個臨界閾值 β*，在此處兩種設計的偏差行為發生轉變。
• 處理比例 q 不影響符號翻轉的可能性，表示增加受試單位的比例無法消除此一偏差。