[论文解读] Semi-parametric dynamic contextual pricing

Virag Shah, José Blanchet+1 more|arXiv (Cornell University)|Jan 7, 2019

Advanced Bandit Algorithms Research参考文献 26被引用 7

一句话总结

本文提出了一种半参数动态上下文定价算法，通过右删失的二元反馈（购买/未购买）学习参数化回归系数和非参数残差分布。通过利用基于自适应价格集的臂消除框架实现免费探索，该算法实现了 $\frac{1}{2}}$ 的遗憾，这是最优的，从而在高维客户与产品上下文的实时电商环境中实现可扩展且高效的收益最大化。

ABSTRACT

Motivated by the application of real-time pricing in e-commerce platforms, we consider the problem of revenue-maximization in a setting where the seller can leverage contextual information describing the customer's history and the product's type to predict her valuation of the product. However, her true valuation is unobservable to the seller, only binary outcome in the form of success-failure of a transaction is observed. Unlike in usual contextual bandit settings, the optimal price/arm given a covariate in our setting is sensitive to the detailed characteristics of the residual uncertainty distribution. We develop a semi-parametric model in which the residual distribution is non-parametric and provide the first algorithm which learns both regression parameters and residual distribution with $ ilde O(\sqrt{n})$ regret. We empirically test a scalable implementation of our algorithm and observe good performance.

研究动机与目标

• 解决在仅观测到二元交易反馈（成功/失败）的电商平台上实现收益最大化的动态定价挑战。
• 使用参数化模型对客户与产品上下文和估值之间的关系进行建模，即对期望对数估值使用参数化模型，同时允许对残差不确定性进行非参数建模。
• 设计一种算法，能够在右删失反馈下同时学习参数化系数和非参数误差分布。
• 在协变量维度和光滑性参数上具有多项式依赖关系的前提下，实现 $\tfrac{1}{2}}$ 的最优遗憾量级。
• 设计一种基于凸优化的半参数回归的可扩展实现，以适用于在线平台的实际部署。

提出的方法

• 将期望对数估值建模为协变量的线性函数，确保估值非负，并支持高效估计。
• 将残差误差分布（预测值与实际对数估值之间的差异）视为非参数的，最小化对噪声的参数化假设。
• 采用基于时间依赖的活跃价格集的臂消除方法，这些价格集依赖于当前的协变量向量，从而实现在多个价格选择之间的免费探索。
• 实施一种随机策略，从活跃集合中均匀随机选择价格，确保充分探索的同时维持遗憾保证。
• 利用凸优化技术以可扩展的方式估计参数分量和非参数误差分布。
• 基于大偏差不等式和体积界进行理论分析，推导出在对残差分布假设最少条件下的遗憾界。

实验结果

研究问题

• RQ1 当仅能获得二元反馈且残差误差分布为非参数时，能否实现动态定价中的最优遗憾？
• RQ2 在右删失反馈的上下文Bandit设置中，如何利用免费探索来降低遗憾？
• RQ3 在反馈受限条件下，学习参数模型与估计非参数误差分布之间的最优权衡是什么？
• RQ4 能否设计一种可扩展的算法，在保持 $\tfrac{1}{2}}$ 遗憾的同时适用于实时电商应用？
• RQ5 光滑性参数 $\tfrac{1}{2}}$ 在存在非参数噪声时如何影响遗憾的量级？

主要发现

• 所提出的算法在时间范围 $n$ 上实现了 $\tfrac{1}{2}}$ 的遗憾，这是最优的，并与该类问题的下界一致。
• 遗憾在协变量维度 $d$ 和光滑性参数 $\tfrac{1}{2}}$ 上呈多项式依赖关系，表明对高维上下文具有鲁棒性。
• 该算法利用了免费探索机制，即一次价格测试可提供关于多个潜在价格选择的信息，从而提高学习效率。
• 基于凸优化的可扩展实现经过实证验证，在模拟数据上表现出色。
• 理论分析确认，遗憾界在对残差分布假设最少的前提下成立，仅需对误差和协变量分布施加温和的正则性条件。
• 推测算法在对抗性协变量和次高斯尾部支持下的扩展仍能保持相同的遗憾量级，表明其在独立同分布假设之外也具有鲁棒性。