[论文解读] Thresholding Bandit for Dose-ranging: The Impact of Monotonicity

Aurélien Garivier, Pierre Ménard+2 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Bandit Algorithms Research参考文献 2被引用 10

一句话总结

本文提出了一种用于第一期临床试验中剂量范围确定的阈值Bandit算法，利用毒性随剂量单调递增的特性以减少样本复杂度。在单调性假设下，该工作建立了渐近最优的样本复杂度界，并提出了一种计算高效的算法，结合了保序回归（isotonic regression）与单峰回归（unimodal regression），相较于非单调情形实现了显著的样本节省。

ABSTRACT

We analyze the sample complexity of the thresholding bandit problem, with and without the assumption that the mean values of the arms are increasing. In each case, we provide a lower bound valid for any risk $δ$ and any $δ$-correct algorithm; in addition, we propose an algorithm whose sample complexity is of the same order of magnitude for small risks. This work is motivated by phase 1 clinical trials, a practically important setting where the arm means are increasing by nature, and where no satisfactory solution is available so far.

研究动机与目标

• 分析在第一期临床试验中识别毒性最接近目标阈值的剂量的样本复杂度。
• 研究单调性（毒性随剂量增加）对样本复杂度的影响，这是临床试验设计中的一个关键结构特征。
• 推导在单调与非单调设定下均适用的任意δ-正确算法的样本复杂度下界。
• 提出一种算法，在δ → 0时渐近匹配该下界，尤其在单调性假设下。
• 量化通过利用单调性可实现的样本节省，重点关注通过单峰回归实现的实用化算法设计。

提出的方法

• 采用阈值Bandit框架，识别均值最接近目标阈值S的臂（剂量）。
• 通过信息论论证，推导出适用于任意δ-正确算法的样本复杂度下界。
• 提出一种算法，通过基于置信区间估计的顺序采样规则，渐近匹配该下界。
• 引入保序回归，将估计均值投影到单调性约束上，确保与单调性假设的一致性。
• 采用单峰回归计算最优采样分配，尤其在单调情形下，通过约束次梯度上升实现。
• 通过将真实均值向量投影到保序序列集合以及被阈值S所限制的保序序列集合上，定义最优复杂度项。

实验结果

研究问题

• RQ1 在不假设单调性的情况下，识别毒性最接近阈值的剂量的根本样本复杂度下界是什么？
• RQ2 单调性假设（毒性随剂量增加）如何影响阈值Bandit问题的样本复杂度？
• RQ3 能否设计一种算法，在单调性假设下渐近匹配该下界？其计算成本如何？
• RQ4 当均值已知为递增时，最优样本复杂度的精确形式是什么？
• RQ5 在第一期临床试验中，通过利用单调性可实现多大程度的样本减少？

主要发现

• 本文推导出的样本复杂度下界适用于任意δ-正确算法，无论是否存在单调性假设。
• 在单调性假设下，最优样本复杂度严格小于非单调情形，其减少量通过单峰回归投影得以量化。
• 所提出的算法在非单调与单调两种设定下，均在δ → 0时渐近匹配下界。
• 在单调性假设下，最优采样复杂度由真实均值向量投影到被阈值S所限制的保序序列集合上决定。
• 关键洞见在于λ*a = min(λ̂a, S)，其中λ̂为均值的保序回归结果，从而可精确计算复杂度项。
• 尽管算法的计算成本因需使用单峰回归而增加，但实际中可实现显著的样本节省。