[论文解读] SCOBO: Sparsity-Aware Comparison Oracle Based Optimization.

HanQin Cai, Daniel McKenzie+2 more|arXiv (Cornell University)|Oct 6, 2020

Machine Learning and Algorithms参考文献 9被引用 1

一句话总结

本文提出SCOBO，一种基于比较预言机的稀疏感知优化算法，通过利用凸函数中的低维结构，在维度 $d$ 上实现对数查询复杂度。与以往在 $d$ 上具有多项式依赖关系的方法不同，SCOBO 利用具有噪声响应的比较预言机实现高效优化，在合成数据集和 MuJoCo 数据集上的实验表现优于当前最先进的基于比较的优化方法。

ABSTRACT

We study derivative-free optimization for convex functions where we further assume that function evaluations are unavailable. Instead, one only has access to a comparison oracle, which, given two points $x$ and $y$, and returns a single bit of information indicating which point has larger function value, $f(x)$ or $f(y)$, with some probability of being incorrect. This probability may be constant or it may depend on $|f(x)-f(y)|$. Previous algorithms for this problem have been hampered by a query complexity which is polynomially dependent on the problem dimension, $d$. We propose a novel algorithm that breaks this dependence: it has query complexity only logarithmically dependent on $d$ if the function in addition has low dimensional structure that can be exploited. Numerical experiments on synthetic data and the MuJoCo dataset show that our algorithm outperforms state-of-the-art methods for comparison based optimization, and is even competitive with other derivative-free algorithms that require explicit function evaluations.

研究动机与目标

• 解决仅能获取噪声比较查询而非直接函数评估时的无导数优化挑战。
• 通过利用目标函数中的低维结构，降低高维设置下的查询复杂度。
• 开发一种在函数值不可访问时仍能保持高效性的算法，仅依赖于点之间的相对比较。
• 在查询效率和收敛速度方面超越现有基于比较的优化方法。
• 展示其在需要显式函数评估的无导数方法中具备竞争力。

提出的方法

• 该算法使用比较预言机，返回两个点中函数值较大的那个，其错误概率有界，且可能依赖于函数值的差异。
• 引入一种稀疏感知搜索策略，自适应地将查询集中在函数值可能显著变化的低维子空间。
• 通过递归划分和主动采样机制，基于比较结果细化搜索空间，减少对全维探索的依赖。
• 通过将比较响应中的噪声建模为 $|f(x) - f(y)|$ 的函数，提升对误差的鲁棒性。
• 证明了当函数具有低维结构时，查询复杂度随维度 $d$ 对数增长，打破了以往的多项式依赖关系。
• 通过比较反馈迭代细化候选区域，指导数值优化，避免计算梯度或函数值。

实验结果

研究问题

• RQ1 当目标函数具有低维结构时，基于比较的优化能否实现关于维度 $d$ 的次多项式查询复杂度？
• RQ2 在无结构性假设下，基于比较的优化性能在维度增加时如何退化？
• RQ3 在无导数优化中，能否有效利用具有可变错误率的噪声比较预言机？
• RQ4 基于比较预言机的方法能否超越需要显式函数评估的无导数方法？
• RQ5 在高维基于比较的优化中，稀疏感知搜索策略对收敛速度和查询效率有何影响？

主要发现

• SCOBO 在函数具有可利用的低维结构时，实现随维度 $d$ 对数增长的查询复杂度，与以往具有多项式依赖关系的方法形成鲜明对比。
• 该算法在合成凸函数和 MuJoCo 强化学习基准测试中，均优于当前最先进的基于比较的优化方法。
• 即使无法获取函数值，SCOBO 的性能仍可与需要显式函数评估的无导数优化算法相媲美。
• 该方法对噪声比较响应表现出鲁棒性，尤其在错误概率依赖于函数值差异幅度时更为显著。
• 数值结果证实，利用低维结构可显著减少高维问题中所需的比较查询次数。
• 尽管仅依赖于相对比较，该算法仍保持强大的收敛特性，验证了其在实际优化任务中的可行性。