[论文解读] The Knowledge Gradient Policy Using A Sparse Additive Belief Model

Yan Li, Han Liu+1 more|arXiv (Cornell University)|Mar 18, 2015

Statistical Methods and Inference参考文献 34被引用 3

一句话总结

本文提出 KGSpLin 和 KGSpAM，一种用于高维、稀疏加法模型的序贯决策优化中的知识梯度策略。通过结合组套索（group Lasso）与贝叶斯推断及 B-样条基展开，该方法能高效识别相关特征，并在有限预算下选择最优替代方案，实现最优估计误差率，在受控实验中优于线性模型基线。

ABSTRACT

We propose a sequential learning policy for noisy discrete global optimization and ranking and selection (R\&S) problems with high dimensional sparse belief functions, where there are hundreds or even thousands of features, but only a small portion of these features contain explanatory power. We aim to identify the sparsity pattern and select the best alternative before the finite budget is exhausted. We derive a knowledge gradient policy for sparse linear models (KGSpLin) with group Lasso penalty. This policy is a unique and novel hybrid of Bayesian R\&S with frequentist learning. Particularly, our method naturally combines B-spline basis expansion and generalizes to the nonparametric additive model (KGSpAM) and functional ANOVA model. Theoretically, we provide the estimation error bounds of the posterior mean estimate and the functional estimate. Controlled experiments show that the algorithm efficiently learns the correct set of nonzero parameters even when the model is imbedded with hundreds of dummy parameters. Also it outperforms the knowledge gradient for a linear model.

研究动机与目标

• 解决在仅有少数特征相关的情况下，高维稀疏信念模型中的序贯决策问题。
• 开发一种策略，以在有限预算下同时识别最优替代方案与潜在的稀疏结构。
• 通过 B-样条逼近，将知识梯度从线性模型推广至非参数加法模型。
• 为稀疏设置下的后验均值与函数估计提供理论误差界。
• 通过实证验证该方法在存在数百个无关特征的情况下，仍能恢复真实的稀疏模式。

提出的方法

• 提出一种基于 ℓ1,∞ 组套索的稀疏线性模型知识梯度策略（KGSpLin），以促进系数估计中的组稀疏性。
• 采用 B-样条基展开表示加法模型中未知的平滑函数，实现非参数估计。
• 在指示变量上引入 Beta-Bernoulli 共轭先验，以建模关于哪些特征处于活跃状态的不确定性。
• 通过张量积 B-样条，将 KGSpLin 扩展至非参数稀疏加法模型（KGSpAM）与函数 ANOVA 模型。
• 使用同伦算法进行递归组套索优化，以在序贯学习过程中保持计算效率。
• 在稀疏性假设下，推导出后验均值与函数估计的理论估计误差界。

实验结果

研究问题

• RQ1 知识梯度策略能否在存在噪声测量的高维稀疏优化问题中有效识别最优替代方案？
• RQ2 当存在数百个特征（其中大多数无关）时，该方法在多大程度上能恢复真实的稀疏模式？
• RQ3 在稀疏加法模型中，后验均值与函数估计的估计误差可提供何种理论保证？
• RQ4 结合组套索的贝叶斯-频率学派混合方法是否优于标准知识梯度线性模型方法？
• RQ5 该方法在具有高维稀疏信号结构的受控实验中，其可扩展性与性能表现如何？

主要发现

• 后验均值估计的估计误差界为 O(σε² s* d̄² log p / n)，其中 s* 为真实稀疏度，d̄ 为每特征的基函数平均数量。
• 函数估计误差界为 O(σε² log p / n²/³)，表明在最优稀疏性与基选择下具有收敛性。
• 受控实验表明，即使嵌入数百个虚拟特征，该算法仍能成功识别出非零参数的正确集合。
• KGSpAM 在选择准确率与稀疏性恢复方面均优于标准线性模型知识梯度方法。
• 理论分析证实，后验协方差矩阵以与 1/n² 成正比的速率收缩，支持一致估计。
• 当最优基维数 d̄ = O(n¹/⁶) 时，该方法在函数估计中达到最小最大最优收敛率 O(σε² log p / n²/³)。