[论文解读] Towards Lifelong Self-Supervision: A Deep Learning Direction for Robotics

Jay Ming Wong|arXiv (Cornell University)|Nov 1, 2016

Human Pose and Action Recognition参考文献 117被引用 6

一句话总结

本文提出了一种用于机器人领域的终身自监督框架，通过将深度学习与认知发展及控制理论相结合，使自主系统能够在任务和环境之间持续学习并不断改进。通过内在动机、分层神经网络和闭环控制，系统在无须人工干预的情况下，随时间推移不断优化世界表征与运动策略，实现基于经验学习的泛化能力与适应性提升。

ABSTRACT

Despite outstanding success in vision amongst other domains, many of the recent deep learning approaches have evident drawbacks for robots. This manuscript surveys recent work in the literature that pertain to applying deep learning systems to the robotics domain, either as means of estimation or as a tool to resolve motor commands directly from raw percepts. These recent advances are only a piece to the puzzle. We suggest that deep learning as a tool alone is insufficient in building a unified framework to acquire general intelligence. For this reason, we complement our survey with insights from cognitive development and refer to ideas from classical control theory, producing an integrated direction for a lifelong learning architecture.

研究动机与目标

• 解决当前机器人领域深度学习的局限性，即通常依赖于特定任务的手动设计特征，且难以在不同领域间泛化。
• 开发一种终身学习架构，使机器人能够在空闲时间内持续改进其世界表征与运动策略。
• 将认知发展与经典控制理论的洞见融入深度学习，以支持内在动机与结构化自举。
• 通过共享表征与分层学习，实现在新任务与新环境中的泛化能力。
• 超越从原始感官输入端到端学习的模式，利用现有的运动基元与控制结构作为终身适应的基础。

提出的方法

• 系统使用分层深度神经网络，通过持续交互学习复杂运动行为与世界动态表征。
• 内在动机通过预测误差实现——奖励基于预测世界状态与实际世界状态之间的差异计算得出。
• 采用双流网络架构，分别设置价值网络与策略网络，以提升训练稳定性并支持迁移学习。
• 框架整合参数化控制器（控制基函数形式），以支持在不同机器人形态与控制目标之间的泛化。
• 通过自监督方式预测状态演化来建模世界动态，使系统能够在无显式监督的情况下学习物理交互。
• 系统利用任务间表征共享，如Pinto与Gupta（2016）所示，通过在相关任务上预训练，提升新任务上的性能。

实验结果

研究问题

• RQ1 如何扩展深度学习以支持机器人系统在孤立任务表现之外的持续、终身学习？
• RQ2 基于预测误差的内在动机在驱动自主技能获取与表征学习中扮演何种角色？
• RQ3 如何将分层深度学习架构与控制理论结合，以实现稳健且可泛化的运动控制？
• RQ4 任务间共享表征在何种方式下可提升机器人学习的泛化能力并降低样本复杂度？
• RQ5 终身自监督能否减少机器人系统对人工设计特征与奖励的依赖？

主要发现

• 任务间表征共享（如同时在抓取与推动任务上训练）相比仅使用任务特定预训练，能显著提升机器人操作任务的性能。
• 使用内在预测误差作为奖励信号，可实现无需外部监督的世界动态与运动策略的自主学习。
• 结合参数化控制器的分层深度学习架构，支持在不同机器人形态与控制目标之间的泛化。
• 终身自监督使机器人能够在空闲时间内优化内部表征并调整控制参数，从而随时间推移提升鲁棒性与性能。
• 将深度学习与控制理论及认知发展原则相结合，可构建更具可扩展性与泛化能力的自主系统学习框架。
• 该框架支持在任务与机器人之间实现迁移学习，如Devin等人（2016）所展示的模块化策略分解，显著增强了适应性。