[论文解读] Perishability of Data: Dynamic Pricing under Varying-Coefficient Models

Adel Javanmard|arXiv (Cornell University)|Jan 13, 2017

Advanced Bandit Algorithms Research参考文献 17被引用 11

一句话总结

本文提出了一种投影随机梯度下降（PSGD）定价策略，用于在时间变化的买家偏好下对高维特征驱动的动态产品进行定价。在对抗性特征下，其遗憾界为 $ O(√{T} + \sum_{t=1}^{T}\sqrt{t}\delta_{t}) $；在随机特征下，其遗憾界为 $ O(d^{2}\log T + \sum_{t=1}^{T}t\delta_{t}/d) $，其中 $\delta_t$ 衡量参数随时间的变化程度。

ABSTRACT

We consider a firm that sells a large number of products to its customers in an online fashion. Each product is described by a high dimensional feature vector, and the market value of a product is assumed to be linear in the values of its features. Parameters of the valuation model are unknown and can change over time. The firm sequentially observes a product's features and can use the historical sales data (binary sale/no sale feedbacks) to set the price of current product, with the objective of maximizing the collected revenue. We measure the performance of a dynamic pricing policy via regret, which is the expected revenue loss compared to a clairvoyant that knows the sequence of model parameters in advance. We propose a pricing policy based on projected stochastic gradient descent (PSGD) and characterize its regret in terms of time $T$, features dimension $d$, and the temporal variability in the model parameters, $δ_t$. We consider two settings. In the first one, feature vectors are chosen antagonistically by nature and we prove that the regret of PSGD pricing policy is of order $O(\sqrt{T} + \sum_{t=1}^T \sqrt{t}δ_t)$. In the second setting (referred to as stochastic features model), the feature vectors are drawn independently from an unknown distribution. We show that in this case, the regret of PSGD pricing policy is of order $O(d^2 \log T + \sum_{t=1}^T tδ_t/d)$.

研究动机与目标

• 解决在线市场中产品价值依赖于高维、时变特征的动态定价问题。
• 将买家估值建模为特征的线性函数，其系数 $\theta_t$ 随时间变化，以反映偏好的演变。
• 将问题形式化为遗憾最小化任务，将企业的收入与已知 $\theta_t$ 的全知策略进行比较。
• 在两种设定下分析性能：对抗性特征选择与随机特征生成。
• 通过遗憾界量化 $\theta_t$ 时间变化对学习和收入损失的影响。

提出的方法

• 使用时变系数线性模型 $v_t(x_t) = \langle x_t, \theta_t \rangle + z_t$ 来表示随时间演化的买家估值。
• 应用投影随机梯度下降（PSGD）方法，利用过去交易的二元反馈（是否售出）顺序估计 $\theta_t$。
• 设计学习率 $\lambda_t$ 以平衡探索与利用，其中 $\lambda_t \propto 1/(t(1 + \sum_{\ell=1}^{t} \sigma_\ell))$。
• 利用经验协方差矩阵 $Q_t = (1/t)\sum_{\ell=1}^t x_\ell x_\ell^T$ 的特征值界，为 $\theta_t$ 构建置信集。
• 在随机特征下，利用次高斯集中与Weyl不等式控制估计误差。
• 通过局部鞅集中与指数矩不等式，推导出估计误差与收入损失的高概率界。

实验结果

研究问题

• RQ1 时间变化的买家偏好（$\delta_t$）如何影响动态定价策略的遗憾？
• RQ2 在时变参数下，探索（学习 $\theta_t$）与利用（最优定价）之间的最优权衡是什么？
• RQ3 遗憾如何随时间 $T$、特征维度 $d$ 和时间变化性 $\delta_t$ 变化？
• RQ4 基于PSGD的策略是否能在对抗性与随机特征模型下均实现次线性遗憾？
• RQ5 学习策略与预先知道 $\theta_t$ 的全知策略之间的性能差距是多少？

主要发现

• 在对抗性特征下，PSGD策略实现的遗憾为 $O(\sqrt{T} + \sum_{t=1}^{T} \sqrt{t} \delta_t)$，表明遗憾随时间呈次线性增长，且对早期变化敏感。
• 在随机特征下，遗憾为 $O(d^2 \log T + \sum_{t=1}^{T} t \delta_t / d)$，表明对 $T$ 的依赖为对数级，且时间变化性按 $d$ 维度缩放。
• 在随机特征下，遗憾界随 $d$ 增大而改善，因为 $\delta_t$ 在 $d$ 个维度上平均，从而降低有效变化性。
• 分析表明，经验协方差 $Q_t$ 的最小特征值 $\sigma_t$ 在 $t \gtrsim d^2 \log T$ 时以高概率集中在 $\sigma_{\min}$ 附近。
• 学习率 $\lambda_t$ 的选择确保了收敛性并控制了估计误差，其中 $1/(t\lambda_t)$ 被限制在 $6/\ell_M$ 以内。
• 通过次高斯集中与鞅不等式，推导出估计误差的高概率界，从而实现对遗憾的紧密控制。