[论文解读] Online A-Optimal Design and Active Linear Regression

Xavier Fontaine, Pierre Perrault+2 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 46被引用 6

一句话总结

本文提出了一种在线A-最优设计算法，用于在异方差性条件下进行主动线性回归，其中每个协变量具有未知且不同的方差。通过结合多臂赌博机与凸优化技术，该方法自适应地分配T个样本的预算，以最小化估计参数的期望ℓ²损失，当协变量构成基时，实现了𝒪(T⁻²)的遗憾边界，优于先前的结果。

ABSTRACT

We consider in this paper the problem of optimal experiment design where a decision maker can choose which points to sample to obtain an estimate $\hatβ$ of the hidden parameter $β^{\star}$ of an underlying linear model. The key challenge of this work lies in the heteroscedasticity assumption that we make, meaning that each covariate has a different and unknown variance. The goal of the decision maker is then to figure out on the fly the optimal way to allocate the total budget of $T$ samples between covariates, as sampling several times a specific one will reduce the variance of the estimated model around it (but at the cost of a possible higher variance elsewhere). By trying to minimize the $\ell^2$-loss $\mathbb{E} [\lVert\hatβ-β^{\star} Vert^2]$ the decision maker is actually minimizing the trace of the covariance matrix of the problem, which corresponds then to online A-optimal design. Combining techniques from bandit and convex optimization we propose a new active sampling algorithm and we compare it with existing ones. We provide theoretical guarantees of this algorithm in different settings, including a $\mathcal{O}(T^{-2})$ regret bound in the case where the covariates form a basis of the feature space, generalizing and improving existing results. Numerical experiments validate our theoretical findings.

研究动机与目标

• 解决每个协变量具有未知且不同方差（异方差性）的线性回归中的最优实验设计问题。
• 通过在协变量之间自适应分配固定的T个样本预算，最小化估计参数β̂的期望ℓ²损失。
• 开发一种在线主动学习算法，根据历史观测结果顺序选择采样哪些协变量。
• 在各种设置下提供关于遗憾性能的理论保证，特别是在协变量构成特征空间基的情况下。

提出的方法

• 使用A-最优设计问题的对偶公式，将其转化为概率单纯形上的凸优化问题。
• 应用带正则化损失函数的在线凸优化，以平衡探索与利用。
• 采用带自适应步长α = T⁻¹/⁴的投影梯度下降更新规则，以最小化遗憾。
• 引入一种几何解释：最优设计对应于寻找一个包含缩放后协变量Xₖ/σₖ的最小椭球体。
• 利用Karush-Kuhn-Tucker（KKT）条件证明仅位于椭球体边界上的协变量才会被采样。
• 通过分析对偶间隙并利用损失函数的浓度不等式，推导出遗憾边界。

实验结果

研究问题

• RQ1 在异方差性条件下，是否能够通过在线主动采样算法在A-最优设计中实现亚常数遗憾？
• RQ2 当协变量构成基时，在线A-最优设计的遗憾的根本极限是什么？
• RQ3 该算法如何在低方差与高方差协变量之间平衡采样，以最小化估计误差？
• RQ4 所提方法是否能在序列设置中优于现有的离线或非自适应A-最优设计？
• RQ5 几何结构（例如椭球体）在确定最优采样策略中起什么作用？

主要发现

• 当协变量构成特征空间的基时，所提算法实现了𝒪(T⁻²)的遗憾边界，优于现有结果。
• 在最坏情况下（两个方差不同的协变量），遗憾的下界为𝒪(T⁻³/²)，揭示了该问题的根本极限。
• 算法性能由对偶间隙和缩放后协变量Xₖ/σₖ的几何结构决定，这些协变量被包含在最优椭球体内。
• 理论分析证实，仅位于最小包围椭球体边界的协变量会被采样，与KKT条件一致。
• 数值实验验证了理论发现，显示相比基线方法具有更快的收敛速度和更低的估计误差。
• 步长选择α = T⁻¹/⁴在收敛速度与估计误差之间实现了最优权衡，从而导出了最终的遗憾边界。