[论文解读] Towards Generalizable Robotic Data Flywheel: High-Dimensional Factorization and Composition

Yuyang Xiao, Yifei Zhou+3 more|arXiv (Cornell University)|Mar 26, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

引入 F-ACIL，一种考虑因子且具组成性、迭代学习框架，将机器人数据 factorize 为 Object、Action、Environment 空间，以实现高效泛化，在演示数量减少 5–10× 的情况下获得超 45% 的性能提升。

ABSTRACT

The lack of sufficiently diverse data, coupled with limited data efficiency, remains a major bottleneck for generalist robotic models, yet systematic strategies for collecting and curating such data are not fully explored. Task diversity arises from implicit factors that are sparsely distributed across multiple dimensions and are difficult to define explicitly. To address this challenge, we propose F-ACIL, a heuristic factor-aware compositional iterative learning framework that enables structured data factorization and promotes compositional generalization. F-ACIL decomposes the data distribution into structured factor spaces such as object, action, and environment. Based on the factorized formulation, we develop a factor-wise data collection and an iterative training paradigm that promotes compositional generalization over the high-dimensional factor space, leading to more effective utilization of real-world robotic demonstrations. With extensive real-world experiments, we show that F-ACIL can achieve more than 45% performance gains with 5-10$ imes$ fewer demonstrations comparing to that of which without the strategy. The results suggest that structured factorization offers a practical pathway toward efficient compositional generalization in real-world robotic learning. We believe F-ACIL can inspire more systematic research on building generalizable robotic data flywheel strategies. More demonstrations can be found at: https://f-acil.github.io/

研究动机与目标

• 解决用于通用模型的现实世界机器人数据缺乏多样性与数据效率不足的问题。
• 提出一个因子化的数据表示，以捕捉对象、动作和环境中的高维变化。
• 开发一个顺序、数据高效的数据采集策略，促进跨因子空间的组成泛化。
• 在真实世界的 Pick-and-Place 和 Open-and-Close 任务中证明经验性提升。

提出的方法

• 定义因子化状态空间 S ≈ O × A × E 以结构化机器人数据。
• 将 Object 因子化为 (texture, geometry, size)；Action 为 (x, y, z, roll, pitch, yaw)；Environment 为 Macro/Micro，包含 like light, color temp, shadow, materials, clutter 等因子。
• 引入按因子分解的组合和迭代数据采集流水线，沿着 O 扩展数据，再沿 OA，最后 OAE， guided by orbit-based generalization analysis。
• 使用迭代算法 (Alg. 1 和 Alg. 2) 构建最小数据集，其因子空间轨道覆盖全空间且样本数量减少。
• 在固定 backbone 的 VLA 策略上，通过 F-ACIL 的因子感知采样收集演示以提高数据效率。

实验结果

研究问题

• RQ1 F-ACIL 是否能够在因子空间的全积（O、A、E）上实现泛化？
• RQ2 相较于对 naive 全空间探索，因子感知的迭代学习在机器人数据飞轮上提升速度有多大？
• RQ3 在固定演示预算下，如何利用组成式泛化提高数据效率？
• RQ4 增加因子空间维度如何影响策略性能？

主要发现

• F-ACIL 带来超过 45% 的性能提升。
• 所需演示数量比不使用因子感知方法的策略少 5–10×。
• 精心设计的因子组合与迭代扩展的混合使高维空间上实现泛化成为可能。
• 有效的组成式泛化依赖于选择能反映跨任务的可迁移结构的因子比例。
• 按顺序的因子扩展（O → A → E）可以在显著减少数据量的情况下实现对全空间的覆盖。