[论文解读] Towards Agnostic Feature-based Dynamic Pricing: Linear Policies vs Linear Valuation with Unknown Noise

Jianyu Xu, Yu-Xiang Wang|arXiv (Cornell University)|Jan 27, 2022

Advanced Bandit Algorithms Research被引用 5

一句话总结

该论文在未知噪声的对抗性特征设定下，提出了两种无遗憾算法——Linear-EXP4（用于线性定价策略）和D2-EXP4（用于线性噪声估值）；在最小化最大遗憾方面，线性策略达到$\tilde{O}(d^{1/3}T^{2/3})$，噪声估值达到$\tilde{O}(T^{3/4})$，表明在弱假设下，相较于bandit反馈，更丰富的定价反馈在遗憾减少方面优势有限。

ABSTRACT

In feature-based dynamic pricing, a seller sets appropriate prices for a sequence of products (described by feature vectors) on the fly by learning from the binary outcomes of previous sales sessions ("Sold" if valuation $\geq$ price, and "Not Sold" otherwise). Existing works either assume noiseless linear valuation or precisely-known noise distribution, which limits the applicability of those algorithms in practice when these assumptions are hard to verify. In this work, we study two more agnostic models: (a) a "linear policy" problem where we aim at competing with the best linear pricing policy while making no assumptions on the data, and (b) a "linear noisy valuation" problem where the random valuation is linear plus an unknown and assumption-free noise. For the former model, we show a $ ildeΘ(d^{\frac13}T^{\frac23})$ minimax regret up to logarithmic factors. For the latter model, we present an algorithm that achieves an $ ilde{O}(T^{\frac34})$ regret, and improve the best-known lower bound from $Ω(T^{\frac35})$ to $ ildeΩ(T^{\frac23})$. These results demonstrate that no-regret learning is possible for feature-based dynamic pricing under weak assumptions, but also reveal a disappointing fact that the seemingly richer pricing feedback is not significantly more useful than the bandit-feedback in regret reduction.

研究动机与目标

• 设计在最小假设下（特别是估值噪声未知且非结构化时）的无遗憾学习算法，用于基于特征的动态定价。
• 研究两种对抗性模型下的最小最大遗憾：(a) 与最优线性定价策略（LP）竞争；(b) 在线性估值下与最优价格竞争，但噪声未知（LV）。
• 通过将下界提升至$\tilde{\Omega}(T^{2/3})$并提供匹配的上界算法，弥合现有LV问题中上下界之间的差距。
• 表明即使在更丰富的反馈（如完整的价格-接受信号）下，弱假设下遗憾减少依然受限，与bandit反馈情形类似。

提出的方法

• 提出Linear-EXP4，一种基于EXP-4的算法，通过使用线性函数$v_t = x_t^\top \beta$的离散策略集，与最优固定$\beta^*$竞争。
• 引入D2-EXP4，一种两阶段算法，通过离散的CDF族$\mathcal{F}_\gamma$联合学习线性估值参数$\theta^*$与未知噪声分布$\mathbb{D}$。
• 对$\theta$和噪声CDF进行离散化，使策略空间有限，从而可应用EXP-4框架。
• 使用加倍技巧处理未知的时间跨度$T$，在对抗性特征序列下仍保持遗憾界。
• 提出一种新颖的下界构造，基于具有对抗性$x_t$和有界噪声的困难实例，证明$\tilde{\Omega}(T^{2/3})$遗憾不可避免。
• 引入$\gamma$-舍入策略，确保离散化策略集包含距离全局最优在$[-O(\gamma), 0]$范围内的策略。

实验结果

研究问题

• RQ1 当估值非线性且噪声未知且非参数化时，能否在基于特征的动态定价中实现无遗憾学习？
• RQ2 在对抗性特征和对$x_t \to y_t$映射无任何假设下，线性策略学习的最小最大遗憾的根本极限是什么？
• RQ3 线性估值下未知噪声的遗憾与bandit反馈相比如何？更丰富的反馈是否显著提升性能？
• RQ4 线性噪声估值模型中的最小最大遗憾能否优于$\tilde{O}(T^{3/4})$？最紧致的下界是什么？
• RQ5 学习未知噪声分布的复杂性是否从根本上限制了遗憾减少，即使在获得购买决策完整反馈的情况下？

主要发现

• 线性策略（LP）问题的最小最大遗憾为$\tilde{\Theta}(d^{1/3}T^{2/3})$，上下界在对数因子内匹配。
• 对于线性噪声估值（LV）问题，所提出的D2-EXP4算法实现了$\tilde{O}(T^{3/4} + d^{1/2}T^{5/8})$的遗憾，优于先前的界限。
• 论文建立了LV问题的新下界$\tilde{\Omega}(T^{2/3})$，优于先前的$\Omega(T^{3/5})$下界。
• 结果表明，即使在获得完整购买决策反馈的情况下，遗憾减少也并未显著优于bandit反馈情形，表明在对抗性噪声下存在根本限制。
• 噪声尺度$R$的依赖关系为$O(\sqrt{R \log R})$，其增长缓慢，表明对更大噪声范围具有鲁棒性。
• 本工作表明，在弱假设下无遗憾学习是可能的，但遗憾无法显著低于$T^{2/3}$，即使在更丰富的反馈下亦然。