[论文解读] Unbiased Single-Queried Gradient for Combinatorial Objective

Thanawat Sornwanee|arXiv (Cornell University)|Feb 4, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

简要结论：本文提出 Easy Stochastic Gradient (ESG)，一种用于通过乘积伯努利松弛优化组合目标的单次查询无偏随机梯度，统一 REINFORCE 与新的梯度家族；并通过 Proof-of-Concept 实验展示 ESG 的单次查询下降（SQD）在某些基线之上的性能。

ABSTRACT

In a probabilistic reformulation of a combinatorial problem, we often face an optimization over a hypercube, which corresponds to the Bernoulli probability parameter for each binary variable in the primal problem. The combinatorial nature suggests that an exact gradient computation requires multiple queries. We propose a stochastic gradient that is unbiased and requires only a single query of the combinatorial function. This method encompasses a well-established REINFORCE (through an importance sampling), as well as including a class of new stochastic gradients.

研究动机与目标

• 在组合问题的超立方体优化中使用连续乘积伯努利松弛来提供动机。
• 开发一个单次查询的无偏随机梯度，可通过自动微分与 v(x)=E[Q(Y)] 优化。
• 确保梯度估计量对任何离散オラクル Q 都是路径可微且无偏的。
• 提供一个简单、可实现的算法（ESG），并在何时产生无偏梯度时进行分析。
• 通过概念验证实验（SQD）对比已确立的无偏估计量来证明该方法。

提出的方法

• 定义 v(x)=E_{Y~P_x}[Q(Y)]，其中 Y_i~Bernoulli(x_i)，且 v(y)=Q(y) 对于 y ∈ {0,1}^d。
• 构建一个单次查询的随机评估 V(x;Q)，使 E[V(x;Q)]=v(x;Q)，利用随机密钥 K(x;ω) 和乘积形式嵌入。
• 引入一个可梯度的随机评估，其中 G(x;ω,Q)=∇_x V(x;ω,Q) 作为无偏随机梯度，依据定义 3.1–3.4 与定理 3.9。
• 指定一族“良好元组” (f,σ,σ̂)，使 V 和 G 形成 V=Q(K(x;ω))∏_i f(|Z_i|) 的形式，其中 Z_i=σ̂^{-1}(x_i)+ε_i, ε_i~σ，确保 E[f(|Z_i|)1_{K_i=y_i}]=x_i y_i+(1−x_i)(1−y_i)。
• 将 ESG 作为一个实用、易于自動微分的实现方法，能够在每次实现中仅对一个 Q 查询就产生无偏梯度估计量（与普通有限差分或高方差的 REINFORCE 相比）。
• 给出良好元组的示例（如 spike、arch、long-jump）并讨论标定与方差的考虑因素，包括重要性采样的作用。

实验结果

研究问题

• RQ1 单次查询的随机梯度是否能为组合目标 multilinear 扩展的梯度 ∇v(x) 提供无偏估计？
• RQ2 在何种构造（元组 (f,σ,σ̂)）下可以实现可梯度的单次查询随机评估和梯度？
• RQ3 就偏差、方差和标定而言，ESG 与 REINFORCE 以及其他连续松弛方法之间的关系与差异为何？
• RQ4 经过编码的 ESG 变体（在嵌入空间中运作）是否在不牺牲无偏性的前提下降低计算量或方差？
• RQ5 SQD 与 ESG 是否在原型性组合任务上相较现有无偏估计量具有竞争力？

主要发现

• 提出 ESG，能够在每次实现仅凭一个 oracle 查询就得到无偏随机梯度。
• 证明随机值 V 的路径可微性允许在自动微分中进行梯度优化。
• 将 ESG 与 REINFORCE 通过重要性采样联系起来，并通过良好元组的选择识别出一族新的无偏估计量。
• 通过概念验证实验（Single Query Descent）证明在某些对称切片优化设置中，基于 ESG 的 SQD 可以在一定程度上优于标准基线（如 REINFORCE、ARM 与 DisARM）。
• 指出在紧凑支持或递减危险率下，用简单的易用元组通常无法实现标定的单次查询评估/梯度，但 REINFORCE 仍然是一个标定的替代方案。
• 讨论方差的考虑及重要性采样在控制估计量方差中的作用。