[论文解读] My House, My Rules: Learning Tidying Preferences with Graph Neural Networks

Ivan Kapelyukh, Edward Johns|arXiv (Cornell University)|Nov 4, 2021

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 NeatNet，一种基于图神经网络的变分自编码器，能够从用户排列的场景中学习个性化空间偏好。通过将用户行为编码为低维潜在向量，并利用词嵌入实现零样本泛化，NeatNet 能够预测高度个性化且具有美感的物体排列，其在多样化重排任务和未见物体上的用户评估中均优于基线模型。

ABSTRACT

Robots that arrange household objects should do so according to the user's preferences, which are inherently subjective and difficult to model. We present NeatNet: a novel Variational Autoencoder architecture using Graph Neural Network layers, which can extract a low-dimensional latent preference vector from a user by observing how they arrange scenes. Given any set of objects, this vector can then be used to generate an arrangement which is tailored to that user's spatial preferences, with word embeddings used for generalisation to new objects. We develop a tidying simulator to gather rearrangement examples from 75 users, and demonstrate empirically that our method consistently produces neat and personalised arrangements across a variety of rearrangement scenarios.

研究动机与目标

• 解决在机器人重排任务中建模主观、用户特定空间偏好的挑战。
• 开发一种方法，从观察到的用户排列中推断个性化偏好，而无需显式偏好标注。
• 通过结合学习到的偏好与语义嵌入，实现在新物体和未见场景上的泛化。
• 通过大规模用户研究评估模型在模拟整理环境中的个性化与泛化能力。
• 证明神经偏好建模在真实用户评估中可优于启发式和非个性化基线方法。

提出的方法

• NeatNet 是一种带有图神经网络（GNN）层的变分自编码器，可将用户排列的场景编码为低维潜在偏好向量。
• 每个场景表示为图，其中节点为物体，边编码空间关系，通过消息传递捕捉结构偏好。
• 使用物体名称的词嵌入作为输入特征，实现在推理阶段对未见物体的零样本泛化。
• 模型在来自 75 名用户的重排数据上端到端训练，数据由自定义的 3D 整理模拟器（TidySim）收集。
• 推理过程中，利用推断出的偏好向量预测新场景或新物体的个性化排列。
• 该方法结合了个性化偏好编码与从训练用户中学习到的先验知识，实现在不同场景和物体类型间的泛化。

实验结果

研究问题

• RQ1 神经网络能否在无显式偏好标签的情况下，从观察到的用户排列中学习个性化空间偏好？
• RQ2 模型能否通过利用语义嵌入，泛化到训练期间未见过的新物体？
• RQ3 模型能否基于单个观察到的排列，在新且未见过的场景中预测个性化排列？
• RQ4 在用户评估中，模型的性能与非个性化或启发式基线相比如何？
• RQ5 模型在多大程度上捕捉了细微偏好，如物体排序、可达性及易碎性考虑？

主要发现

• NeatNet 在新场景上预测排列的平均用户评分达到 9.65 / 10，显著优于 kNN-Scene-Projection（6.94）和 Random-User（5.88）。
• 在放置未见物体时，NeatNet 在所有物体类型上的平均绝对误差为 2.58 cm，优于 Random-Position（16.38 cm）和 NeatNet-No-Prefs（11.12 cm）。
• NeatNet 在未见场景中成功泛化到笔记本电脑和蓝色盒子，用户评分高于所有基线，归因于其推断语义与空间模式的能力。
• 模型正确外推了抽象场景中的尺寸排序模式，表明其学习到了超越个体用户行为的结构先验。
• 用户评估证实，NeatNet 的预测在审美和个性化方面始终优于基线方法。
• NeatNet 使用词嵌入实现了有效的零样本泛化，用户即使对训练数据中不存在的新物体（如笔记本电脑）也更偏好其排列结果。