[论文解读] VFunc: a Deep Generative Model for Functions

Philip Bachman, Riashat Islam+2 more|arXiv (Cornell University)|Jul 11, 2018

Reinforcement Learning in Robotics参考文献 32被引用 7

一句话总结

VFunc 提出了一种深度生成模型，通过学习函数与潜在变量的联合分布，实现基于变分推断的函数空间不确定性估计。通过潜在变量采样函数，该方法在强化学习中实现了多样化、高熵的策略，并在回归任务中提升了不确定性量化效果，优于参数空间的贝叶斯方法在探索与多样性方面的表现。

ABSTRACT

We introduce a deep generative model for functions. Our model provides a joint distribution p(f, z) over functions f and latent variables z which lets us efficiently sample from the marginal p(f) and maximize a variational lower bound on the entropy H(f). We can thus maximize objectives of the form E_{f~p(f)}[R(f)] + c*H(f), where R(f) denotes, e.g., a data log-likelihood term or an expected reward. Such objectives encompass Bayesian deep learning in function space, rather than parameter space, and Bayesian deep RL with representations of uncertainty that offer benefits over bootstrapping and parameter noise. In this short paper we describe our model, situate it in the context of prior work, and present proof-of-concept experiments for regression and RL.

研究动机与目标

• 开发一种直接在函数上捕捉不确定性的生成模型，而非在模型参数上。
• 为下游任务实现从函数的边缘分布 $p(f)$ 中高效采样。
• 通过最大化函数熵 $H(f)$ 的变分下界，以促进强化学习中的探索与多样性。
• 为深度学习中的不确定性估计提供一种可扩展的替代方案，替代高斯过程与贝叶斯神经网络。
• 通过概念验证实验，证明其在回归与强化学习中的适用性。

提出的方法

• 模型定义联合分布 $p(f,z) = p(f|z)p(z)$，其中 $z$ 是从简单先验 $p(z)$ 中采样的潜在变量。
• 通过将神经网络 $p(y|x,z)$ 条件化于采样的潜在变量 $z$，生成函数，从而实现在输入域上的函数采样。
• 使用随机梯度变分推断，最大化函数熵 $H(f)$ 的变分下界，以鼓励函数空间中的多样性。
• 在回归任务中，目标函数包含数据对数似然与熵正则化；在强化学习中，包含期望奖励与策略熵最大化。
• 对潜在变量进行插值，以可视化函数行为的平滑过渡，例如在网格世界环境中的策略转变。
• 使用状态访问频率与函数插值，评估策略多样性与不确定性表征能力。

实验结果

研究问题

• RQ1 深度生成模型能否有效表示函数上的不确定性，而非模型参数上的不确定性？
• RQ2 潜在变量条件下的采样在回归与强化学习任务中，能否生成多样化且有意义的函数？
• RQ3 在函数空间中最大化熵在多大程度上能改善强化学习中的探索与策略多样性？
• RQ4 该模型能否在低数据区域提供有意义的不确定性估计，如通过潜在空间插值所示？
• RQ5 在复杂环境（如双缝迷宫）中，潜在变量如何编码不同的策略？

主要发现

• 在回归任务中，模型在训练数据较少的区域表现出更高的不确定性，如图1所示的插值函数所示。
• 在双缝网格世界中，潜在变量之间的插值产生了平滑的策略转变，随着 $\alpha$ 增大，策略从一个缝隙逐渐转向另一个缝隙。
• 通过熵最大化，模型在网格世界中生成了16种多样化的策略，每种策略均以不同路径抵达目标，状态访问频率可视化清晰显示了这一结果。
• 模型成功学习到在四房间与弹珠台环境中的多种不同策略，不同的 $z$ 值对应不同的导航路径。
• 潜在空间插值表明，$z$ 编码了函数行为的有意义且连续的变化，包括双缝迷宫中缝隙间策略的平滑过渡。
• 该方法在不依赖自助采样或参数噪声的情况下，实现了有效的不确定性量化与策略多样性，优于标准方法在探索能力上的表现。