[论文解读] Multimodal Hierarchical Dirichlet Process-based Active Perception

Tadahiro Taniguchi, Toshiaki Takano+1 more|arXiv (Cornell University)|Oct 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 50被引用 5

一句话总结

本文提出了一种基于多模态层次狄利克雷过程（MHDP）的主动感知方法，用于多模态物体识别，通过选择能最大化信息增益（IG）的动作来应对时间约束。利用IG在MHDP下的子模性和非递减性，该方法采用带有蒙特卡洛近似的懒惰贪心算法，高效地识别最优动作序列，从而实现实时机器人场景下的快速且准确的物体分类。

ABSTRACT

In this paper, we propose an active perception method for recognizing object categories based on the multimodal hierarchical Dirichlet process (MHDP). The MHDP enables a robot to form object categories using multimodal information, e.g., visual, auditory, and haptic information, which can be observed by performing actions on an object. However, performing many actions on a target object requires a long time. In a real-time scenario, i.e., when the time is limited, the robot has to determine the set of actions that is most effective for recognizing a target object. We propose an MHDP-based active perception method that uses the information gain (IG) maximization criterion and lazy greedy algorithm. We show that the IG maximization criterion is optimal in the sense that the criterion is equivalent to a minimization of the expected Kullback--Leibler divergence between a final recognition state and the recognition state after the next set of actions. However, a straightforward calculation of IG is practically impossible. Therefore, we derive an efficient Monte Carlo approximation method for IG by making use of a property of the MHDP. We also show that the IG has submodular and non-decreasing properties as a set function because of the structure of the graphical model of the MHDP. Therefore, the IG maximization problem is reduced to a submodular maximization problem. This means that greedy and lazy greedy algorithms are effective and have a theoretical justification for their performance. We conducted an experiment using an upper-torso humanoid robot and a second one using synthetic data. The experimental results show that the method enables the robot to select a set of actions that allow it to recognize target objects quickly and accurately. The results support our theoretical outcomes.

研究动机与目标

• 解决在时间约束下，多模态物体识别中主动感知的高效动作选择问题。
• 开发一种理论基础坚实的主动感知方法，利用MHDP的概率结构实现最优动作选择。
• 使机器人能够自主选择动作，以最大化关于物体类别的信息增益，利用视觉、听觉和触觉模态。
• 通过证明IG在MHDP下的子模性和非递减性，为使用贪心和懒惰贪心算法进行动作选择提供理论依据。
• 通过人形机器人和合成数据的实验验证该方法，证明其在动作预算受限下能实现快速且准确的识别。

提出的方法

• 使用多模态层次狄利克雷过程（MHDP）作为非参数贝叶斯模型，表示视觉、听觉和触觉模态下的多模态物体类别。
• 采用信息增益（IG）最大化作为动作选择的目标函数，该函数在理论上是最优的，可最小化后验分布之间的期望Kullback–Leibler散度。
• 通过利用MHDP的条件共轭性和图模型结构，推导出IG的高效蒙特卡洛近似方法。
• 证明IG函数由于MHDP的层次结构，作为集合函数具有子模性和非递减性，从而为贪心算法提供理论保证。
• 应用懒惰贪心算法高效求解子模最大化问题，降低计算成本的同时保持接近最优的性能。
• 将该方法集成到机器人系统中，动作选择基于预期信息增益，在人形机器人上实现实时执行。

实验结果

研究问题

• RQ1 在MHDP下进行信息增益最大化是否能实现多模态物体识别的最优动作选择？
• RQ2 在MHDP下，信息增益函数是否表现出子模性和非递减性，从而支持高效的贪心优化？
• RQ3 能否利用MHDP的条件分布高效计算信息增益的蒙特卡洛近似？
• RQ4 所提出的基于MHDP的主动感知方法在动作预算受限下，是否能有效减少识别时间并提高识别准确率？
• RQ5 该方法能否在实际机器人场景中，利用真实传感器数据实现实时应用？

主要发现

• 在MHDP下，信息增益最大化准则在理论上是最优的，因为它最小化了最终后验分布与中间后验分布之间的期望Kullback–Leibler散度。
• 信息增益函数被证明具有子模性和非递减性，从而为使用贪心和懒惰贪心算法提供了理论依据，并具备性能保证。
• 通过利用MHDP模型的条件共轭性，推导出一种高效的IG蒙特卡洛近似方法。
• 在人形机器人上的实验结果表明，该方法选择的动作序列能够实现快速且准确的物体识别，优于基线策略。
• 合成数据实验验证了IG的理论性质，并证明了懒惰贪心算法在降低计算成本的同时保持高识别准确率的有效性。
• 该方法成功减少了实现准确物体分类所需的动作数量，展示了在实时机器人感知任务中的实际可行性。