[论文解读] The Variational Bandwidth Bottleneck: Stochastic Evaluation on an Information Budget

Anirudh Goyal, Yoshua Bengio+2 more|arXiv (Cornell University)|Apr 24, 2020

Reinforcement Learning in Robotics参考文献 21被引用 7

一句话总结

该论文提出了变分带宽瓶颈（VBB）方法，使深度神经网络能够仅基于标准输入，以随机方式决定是否访问昂贵或特权的输入（例如目标状态、规划器输出），从而减少对昂贵信息的依赖，同时提升泛化能力。与标准变分信息瓶颈不同，VBB学习何时访问特权数据，在强化学习任务中实现高达77%的访问减少，且性能更优。

ABSTRACT

In many applications, it is desirable to extract only the relevant information from complex input data, which involves making a decision about which input features are relevant. The information bottleneck method formalizes this as an information-theoretic optimization problem by maintaining an optimal tradeoff between compression (throwing away irrelevant input information), and predicting the target. In many problem settings, including the reinforcement learning problems we consider in this work, we might prefer to compress only part of the input. This is typically the case when we have a standard conditioning input, such as a state observation, and a "privileged" input, which might correspond to the goal of a task, the output of a costly planning algorithm, or communication with another agent. In such cases, we might prefer to compress the privileged input, either to achieve better generalization (e.g., with respect to goals) or to minimize access to costly information (e.g., in the case of communication). Practical implementations of the information bottleneck based on variational inference require access to the privileged input in order to compute the bottleneck variable, so although they perform compression, this compression operation itself needs unrestricted, lossless access. In this work, we propose the variational bandwidth bottleneck, which decides for each example on the estimated value of the privileged information before seeing it, i.e., only based on the standard input, and then accordingly chooses stochastically, whether to access the privileged input or not. We formulate a tractable approximation to this framework and demonstrate in a series of reinforcement learning experiments that it can improve generalization and reduce access to computationally costly information.

研究动机与目标

• 解决标准变分信息瓶颈方法的局限性，即编码过程中需要完全访问特权输入，这会损害泛化能力并增加计算成本。
• 使模型仅基于标准输入，决定是否访问特权输入，从而最小化对昂贵或冗余信息的依赖。
• 通过基于上下文线索压缩或忽略特权输入（如目标状态、通信信号），提升强化学习中的泛化能力。
• 在保持或提升任务性能的同时，减少对来自规划器或其他智能体的特权输入的访问频率。
• 提供一种可处理的、可微分的框架，用于对特权信息进行随机访问，以在信息增益与计算成本之间取得平衡。

提出的方法

• VBB引入了一种随机门控机制，仅从标准输入出发，预测是否应为特定样本访问特权输入。
• 其使用由仅依赖标准输入的神经网络控制的伯努利分布门控，实现在观察特权输入前的随机访问决策。
• 模型通过变分下界进行训练，以最小化条件互信息 I(Z;G|S)，其中 Z 为瓶颈表示，G 为特权输入，S 为标准输入。
• 目标函数包含一个 KL 散度项，以促使瓶颈 Z 在给定 S 的条件下与 G 条件独立，从而压缩无关的特权信息。
• 该方法采用基于 REINFORCE 的策略梯度估计来训练随机门控，支持通过门控决策进行端到端反向传播。
• 该框架被应用于强化学习任务，其中特权输入可能代表目标位置、基于模型的规划输出或智能体间的通信。

实验结果

研究问题

• RQ1 深度学习模型能否仅基于标准输入，学习决定何时访问特权输入，而无需事先观察该输入？
• RQ2 学习对特权信息进行门控访问是否能提升强化学习中的泛化能力，尤其是在特权输入昂贵或可变的情况下？
• RQ3 所提出的方法能否在保持或提升任务性能的同时，减少对来自规划器或其他智能体的特权输入的访问频率？
• RQ4 在信息效率和性能方面，VBB 与标准变分信息瓶颈及其他基线方法相比表现如何？
• RQ5 模型在多大程度上学会了有意义的、与上下文相关的访问模式（例如，仅在决策点附近访问目标信息）？

主要发现

• 在6智能体和10智能体地标导航任务中，VBB实现的平均目标距离分别为3.92和5.22，优于基线方法InfoBot（分别为4.81和5.32），同时仅在23%和34%的时间内访问特权信息。
• 在基于模型的强化学习环境中，VBB将特权输入访问频率降低至仅15%的时间，获得比基线更低的回报（6.94 vs. 7.12），同时传输的信息内容相近。
• 在序列MNIST任务中，VBB在仅46%访问特权输入的情况下，测试损失为3.22，优于基线（3.56）和REINFORCE基线（3.63）。
• VBB在信息传输能力（信道容量）方面与标准VIB相当，但特权输入访问频率显著降低，证明即使访问频率减少，信息效率仍得以保持。
• 模型学会仅在自然决策点（如迷宫中的门口）附近访问特权信息，表明其具备上下文感知的自适应计算能力。
• 在所有评估任务中，VBB均优于标准VIB和基于REINFORCE的门控方法，表明所提出的训练目标能带来更好的泛化能力和访问控制。