[论文解读] The Advantage of Cross Entropy over Entropy in Iterative Information Gathering

Johannes Kulick, Robert Lieck+1 more|arXiv (Cornell University)|Sep 26, 2014

Machine Learning and Algorithms参考文献 25被引用 4

一句话总结

本文提出将期望互信息（MaxCE）作为迭代信息获取中最小化期望熵的更优替代方案，尤其适用于学习隐变量模型参数。与可能因信念偏差而陷入局部最优的熵最小化不同，MaxCE 通过测量从先验到后验信念的变化来主动挑战和反驳此类信念，从而实现更快收敛，并在合成与真实世界机器人实验中避免错误的低熵状态。

ABSTRACT

Gathering the most information by picking the least amount of data is a common task in experimental design or when exploring an unknown environment in reinforcement learning and robotics. A widely used measure for quantifying the information contained in some distribution of interest is its entropy. Greedily minimizing the expected entropy is therefore a standard method for choosing samples in order to gain strong beliefs about the underlying random variables. We show that this approach is prone to temporally getting stuck in local optima corresponding to wrongly biased beliefs. We suggest instead maximizing the expected cross entropy between old and new belief, which aims at challenging refutable beliefs and thereby avoids these local optima. We show that both criteria are closely related and that their difference can be traced back to the asymmetry of the Kullback-Leibler divergence. In illustrative examples as well as simulated and real-world experiments we demonstrate the advantage of cross entropy over simple entropy for practical applications.

研究动机与目标

• 为解决贪婪熵最小化在迭代信息获取中的局限性，该方法可能导致过早收敛至有偏的、低熵的信念状态。
• 提出一种新准则——最大化先验与后验信念之间的期望互信息，通过关注信念变化而非熵减少，避免局部最优。
• 通过实证证明，MaxCE 在学习隐变量参数方面相比熵最小化和随机采样具有更快收敛速度和更高精度。
• 将该方法扩展至真实世界机器人探索任务，展示其在揭示物理环境中依赖结构方面的实际效用。
• 证明 MaxCE 可与不确定性采样结合，以同时提升预测性能并学习模型参数。

提出的方法

• 提出 MaxCE 作为一步优化准则，通过最大化先验 $ p(\theta|D) $ 与后验 $ p(\theta|x,y,D) $ 之间的期望互信息，促进挑战现有假设的信念更新。
• 使用 Kullback-Leibler (KL) 散度形式化该方法，表明 MaxCE 对应于最大化 $ \mathbb{E}[\text{KL}(p(\theta|D) \parallel p(\theta|x,y,D))] $，该度量具有非对称性，更倾向于信念转变而非熵减少。
• 证明熵最小化准则不具备子模性，这解释了其易受局部最优影响的原因；而 MaxCE 通过测量信念变化避免了此问题。
• 在离散与连续设置中实现 MaxCE，采用高斯过程及高效积分技术，确保高维问题中的可计算性。
• 将 MaxCE 与不确定性采样结合，构建混合目标函数，以同时提升隐变量参数学习与预测准确性。
• 在真实世界机器人探索任务中应用 MaxCE，使用 PR2 机器人通过少量交互学习橱柜中的依赖结构。

实验结果

研究问题

• RQ1 为何贪婪熵最小化在迭代信息获取中会失败，特别是在收敛至错误的、低熵信念状态时？
• RQ2 与熵最小化相比，最大化先验与后验信念之间的互信息如何改善收敛性并避免局部最优？
• RQ3 MaxCE 是否可有效与不确定性采样结合，以同时增强隐变量参数学习与预测性能？
• RQ4 在哪些真实世界机器人场景中，MaxCE 表现优于传统信息获取策略？
• RQ5 KL 散度的非对称性如何解释熵最小化与互信息最大化在信念更新中的差异？

主要发现

• MaxCE 有效避免了熵最小化易陷入的局部最优，该结论在具有隐含依赖关系的合成贝叶斯网络中得到验证。
• 在合成实验中，仅 MaxCE 显著降低了信念熵，而熵最小化则长期停滞在高熵、错误的信念状态。
• 熵最小化策略未能正确识别任何真实联合依赖关系，而 MaxCE 在少数观测后即正确识别了这些依赖。
• 在真实世界机器人实验中，PR2 机器人利用 MaxCE 仅通过少量交互即识别出橱柜中的正确依赖结构，尽管存在强烈先验信念。
• 由于缺乏完整状态覆盖，抽屉与钥匙之间的依赖关系先验信念持续存在，但 MaxCE 使机器人在获得足够证据后最终否定了这一错误依赖。
• 结合 MaxCE 与不确定性采样的混合策略随时间推移显著提升了预测性能，初期虽牺牲精度，但最终优于纯不确定性采样。