[论文解读] Virtual Embodiment: A Scalable Long-Term Strategy for Artificial Intelligence Research

Douwe Kiela, Luana Bulat+2 more|arXiv (Cornell University)|Oct 24, 2016

Multimodal Machine Learning Applications参考文献 23被引用 25

一句话总结

该论文提出在模拟环境——特别是具有目的的视频游戏——中实现虚拟具身化，作为一种可扩展、合乎伦理的长期策略，以推动人工智能的发展，尤其通过多模态、交互式和渐进式学习实现人类水平的语义理解。通过使人工智能智能体在虚拟感官运动体验中学习语言和世界知识，该方法在无物理限制或伦理风险的情况下，支持向人工通用智能的逐步发展。

ABSTRACT

Meaning has been called the "holy grail" of a variety of scientific disciplines, ranging from linguistics to philosophy, psychology and the neurosciences. The field of Artifical Intelligence (AI) is very much a part of that list: the development of sophisticated natural language semantics is a sine qua non for achieving a level of intelligence comparable to humans. Embodiment theories in cognitive science hold that human semantic representation depends on sensori-motor experience; the abundant evidence that human meaning representation is grounded in the perception of physical reality leads to the conclusion that meaning must depend on a fusion of multiple (perceptual) modalities. Despite this, AI research in general, and its subdisciplines such as computational linguistics and computer vision in particular, have focused primarily on tasks that involve a single modality. Here, we propose virtual embodiment as an alternative, long-term strategy for AI research that is multi-modal in nature and that allows for the kind of scalability required to develop the field coherently and incrementally, in an ethically responsible fashion.

研究动机与目标

• 解决认知科学中具身理论所要求的将自然语言语义扎根于物理经验的长期挑战。
• 克服当前单模态人工智能研究的局限性，后者无法捕捉人类语义理解所具有的多模态、交互性和时间性特征。
• 制定一条长期、可扩展的研究路径，以实现人工通用智能，使智能体能力的复杂性随发展逐步提升。
• 提供一个伦理安全的环境，用于测试人工智能行为和伦理决策，而无需承担现实世界后果。
• 使人工智能智能体能够通过与虚拟世界互动来学习，包括与其他智能体和人类的沟通与协作。

提出的方法

• 使用虚拟世界——特别是具有目的的视频游戏——作为人工智能智能体通过具身化、多模态和交互式经验学习语义的平台。
• 实施一个分层框架（类型0至类型5），系统性地提升智能体具身化的复杂性，从基本感知到多目标、非确定性的战略规划。
• 通过人类具有轻微优势的方式，促进人工智能智能体与人类之间的互动，以确保有意义的人机协作。
• 设计支持时间性、顺序性和多模态输入（视觉、听觉等）的虚拟环境，以模拟现实世界的感知和语言使用。
• 利用深度强化学习和多智能体系统，使智能体能够从彼此和人类示范中学习。
• 通过将智能体行为限制在受控的、非确定性的虚拟环境中，确保伦理可测试性，这些环境能模拟现实世界风险但不造成实际伤害。

实验结果

研究问题

• RQ1 人工智能智能体如何通过在虚拟环境中进行具身化、多模态和交互式体验，实现人类水平的语义理解？
• RQ2 为逐步发展人工智能智能体日益复杂的认知和语言能力，需要哪些层级的具身化？
• RQ3 与物理具身化相比，虚拟具身化在多大程度上能支持可扩展、渐进式且合乎伦理的人工智研发？
• RQ4 人工智能智能体如何通过与虚拟环境及其他智能体（包括人类）的互动来学习语言和世界知识？
• RQ5 为使视频游戏成为人工智能研究中虚拟具身化的有效平台，需要哪些设计原则？

主要发现

• 虚拟具身化使人工智能智能体能够通过多模态、交互式和时间结构化的经验学习语义，克服了单模态和非交互式模型的局限性。
• 所提出的从类型0到类型5的具身化层级提供了一个可扩展的框架，可逐步提升虚拟环境和智能体能力的复杂性。
• 虚拟环境支持人工智能系统的快速、迭代式开发，无需持续的人类监督，因为智能体可以相互学习。
• 当前的人工智研发大多仍停留在类型1具身化阶段，表明在向更高阶、多目标和战略交互发展方面存在显著差距。
• 目前尚无任何现有视频游戏满足支持类型5具身化的标准，凸显了重大的研究与开发机遇。
• 虚拟具身化提供了一个安全、合乎伦理的平台，可用于测试人工智能行为，包括伦理决策，而无需承担现实世界的风险。