[论文解读] The Tools Challenge: Rapid Trial-and-Error Learning in Physical Problem Solving.

Kelsey R. Allen, Kevin A. Smith+1 more|arXiv (Cornell University)|Jul 25, 2019

Reinforcement Learning in Robotics参考文献 36被引用 8

一句话总结

本文介紹了工具遊戲（Tools game），這是一項動態的物理推理挑戰，要求透過快速的試錯學習來解決新穎的工具使用問題。論文提出樣本、模擬、更新（SSUP）框架——該框架建立在世界知識、心理模擬與信念更新基礎上——在20個關卡中對人類表現的模擬效果優於深度強化學習與線上模擬器學習。

ABSTRACT

Many animals, and an increasing number of artificial agents, display sophisticated capabilities to perceive and manipulate objects. But human beings remain distinctive in their capacity for flexible, creative tool use -- using objects in new ways to act on the world, achieve a goal, or solve a problem. Here we introduce the game, a simple but challenging domain for studying this behavior in human and artificial agents. Players place objects in a dynamic scene to accomplish a goal that can only be achieved if those objects interact with other scene elements in appropriate ways: for instance, launching, blocking, supporting or tipping them. Only a few attempts are permitted, requiring rapid trial-and-error learning if a solution is not found at first. We propose a Sample, Simulate, Update (SSUP) framework for modeling how people solve these challenges, based on exploiting rich world knowledge to sample actions that would lead to successful outcomes, simulate candidate actions before trying them out, and update beliefs about which tools and actions are best in a rapid learning loop. SSUP captures human performance well across 20 levels of the Tools game, and fits significantly better than alternate accounts based on deep reinforcement learning or learning the simulator parameters online. We discuss how the Tools challenge might guide the development of better physical reasoning agents in AI, as well as better accounts of human physical reasoning and tool use.

研究动机与目标

• 透過一項新型物理問題解決遊戲，研究人類與人工智慧代理在快速、創新的工具使用行為。
• 識別在有限試驗次數下，動態物理環境中快速學習的認知機制。
• 發展並驗證一個類似人類的物理推理計算模型，以捕捉快速適應與頓悟能力。
• 透過模擬靈活、以知識為導向的問題解決方式，指導更具人類特性的物理推理代理在人工智慧中的設計。

提出的方法

• 提出樣本、模擬、更新（SSUP）框架，其中代理根據世界知識採樣行動。
• 利用心理模擬在執行前預測候選行動的結果，以減少現實世界中的試錯次數。
• 透過失敗或成功嘗試的反饋，更新對有效工具與行動的信念。
• 運用結構化的世界知識來引導行動採樣，優先選擇合理且有效的干預方式。
• 透過模擬物體與場景元素之間的互動，來模擬動態環境中的人類表現。
• 將SSUP與深度強化學習及線上模擬器參數學習等替代建模方法進行比較。

实验结果

研究问题

• RQ1 人類在動態環境中，僅憑有限次試驗，如何快速解決新穎的物理工具使用問題？
• RQ2 物理推理任務中，快速試錯學習的認知機制是什麼？
• RQ3 基於採樣、模擬與信念更新的模型，是否能比深度強化學習更好地解釋人類表現？
• RQ4 世界知識如何影響物理問題解決的效率與成功率？
• RQ5 心理模擬在減少工具使用任務所需試驗次數的過程中扮演何種角色？

主要发现

• SSUP框架在工具遊戲的20個關卡中，以高準確度捕捉了人類表現。
• SSUP在擬合人類行為數據方面，顯著優於深度強化學習模型。
• SSUP亦優於線上學習模擬器參數的模型，顯示出先驗世界知識的重要性。
• 該模型依賴心理模擬，減少現實世界試驗次數，與人類學習效率相符。
• 人類受試者僅憑少量嘗試即成功完成工具遊戲，顯示其有效運用世界知識與預期能力。
• 結果表明，世界知識與模擬在物理問題解決中的快速、創新型工具使用中至關重要。