[论文解读] Sequential Topological Representations for Predictive Models of Deformable Objects

Rika Antonova, Anastasiia Varava+3 more|arXiv (Cornell University)|Nov 23, 2020

3D Shape Modeling and Analysis参考文献 30被引用 4

一句话总结

本文提出一种基于持久同调的序列拓扑表征方法，用于从点云数据中追踪并预测高度形变物体的演化拓扑状态。该方法引入了序列持久同调（seqPH）算法以及一种可学习的神经网络模型，可在未来60步时间范围内预测拓扑特征，其预测速度更快且更鲁棒，优于独立的计算拓扑方法。

ABSTRACT

Deformable objects present a formidable challenge for robotic manipulation due to the lack of canonical low-dimensional representations and the difficulty of capturing, predicting, and controlling such objects. We construct compact topological representations to capture the state of highly deformable objects that are topologically nontrivial. We develop an approach that tracks the evolution of this topological state through time. Under several mild assumptions, we prove that the topology of the scene and its evolution can be recovered from point clouds representing the scene. Our further contribution is a method to learn predictive models that take a sequence of past point cloud observations as input and predict a sequence of topological states, conditioned on target/future control actions. Our experiments with highly deformable objects in simulation show that the proposed multistep predictive models yield more precise results than those obtained from computational topology libraries. These models can leverage patterns inferred across various objects and offer fast multistep predictions suitable for real-time applications.

研究动机与目标

• 解决机器人领域中高度可变形物体建模与控制的挑战，此类物体缺乏标准的低维表征。
• 开发一种拓扑状态表征方法，捕捉如孔洞、环路和连通性等全局形状特征，且在连续形变下保持不变。
• 通过从点云序列观测中学习多步预测模型，实现实时规划与控制。
• 在关于动力学和观测质量的弱假设下，提供一种理论基础扎实的方法，从点云中恢复拓扑结构。
• 将可解释的拓扑不变量（如链接数）整合到任务特定的成本函数中，用于悬挂或打结等操作任务。

提出的方法

• 使用序列持久同调（seqPH）从可变形物体的时间序列点云数据中提取并追踪拓扑特征——特别是环路和孔洞。
• 将每个拓扑特征表示为关于其关联单体空间位置的高斯混合模型（GMM），其参数由顶点位置和持久性值推导得出。
• 训练深度神经网络（NN）通过条件输入过去16个时间步的点云序列以及未来最多60步的控制动作序列，以预测未来的拓扑状态。
• 利用神经网络作为正则化器，提升对噪声和轨迹特异性异常的鲁棒性，这些异常可能影响直接的seqPH推理。
• 使用链接数作为拓扑不变量，定义与任务相关的成本函数，从而实现钩挂或缠结控制等任务的规划。
• 采用PointNet和全连接网络架构评估模型性能，训练数据包含23,000条不同可变形物体（衣物、袋子）的模拟轨迹。

实验结果

研究问题

• RQ1 在无语义标注的情况下，能否从原始点云数据中可靠地提取并追踪可变形物体中的拓扑特征（如环路和孔洞）？
• RQ2 在何种假设下，能够从噪声较大的序列点云观测中理论上恢复拓扑状态的时序演化？
• RQ3 学习得到的神经网络模型是否能在多步时间范围内比直接的计算拓扑方法更准确、更鲁棒地预测未来拓扑状态？
• RQ4 不同神经网络架构（如PointNet与全连接网络）如何影响拓扑状态预测的准确性和泛化能力？
• RQ5 在多大程度上，可解释的拓扑不变量（如链接数）可用于定义有效且任务特定的成本函数，以支持机器人操作？

主要发现

• 采用PointNet架构的预测模型在环路定位准确率方面优于seqPH方法和标准全连接神经网络，展现出更优的泛化能力。
• 神经网络预测生成的环路高斯混合模型比seqPH更紧凑，表明学习过程中跨多样化轨迹带来的正则化效应。
• 在800条测试轨迹的子集中（人工标记了环路区域的真实值），预测混合模型中寿命最长的成分落在真实环路区域凸包内的比例，与seqPH相比更高或相当。
• 该模型实现了快速的多步预测（最多提前60步），适用于实时控制，其推理速度显著快于独立的计算拓扑处理流程。
• 该方法在模拟中成功捕捉了如围裙搭扣和手提袋提手等非平凡的拓扑特征，即使在材料属性和动态运动变化的情况下也表现稳定。
• 将拓扑不变量（如链接数）整合后，可形成可解释的、高层级的任务目标，适用于悬挂或打结等复杂操作任务。