[论文解读] Transfer of View-manifold Learning to Similarity Perception of Novel Objects

Xingyu Lin, Hao Wang+4 more|arXiv (Cornell University)|Mar 31, 2017

Neural dynamics and brain function被引用 7

一句话总结

本文提出物体持续性网络（OPnet），一种通过孪生三元组损失微调的深度卷积神经网络，以学习强制跨视角保持物体连续性的视图流形表征。通过在物体持续性约束下微调AlexNet，OPnet在新物体的相似性判断上表现更优——无论在类别内还是类别间，展现出可迁移的、部件级别的抽象能力，其表现更符合人类的感知相似性，优于基线模型。

ABSTRACT

We develop a model of perceptual similarity judgment based on re-training a deep convolution neural network (DCNN) that learns to associate different views of each 3D object to capture the notion of object persistence and continuity in our visual experience. The re-training process effectively performs distance metric learning under the object persistency constraints, to modify the view-manifold of object representations. It reduces the effective distance between the representations of different views of the same object without compromising the distance between those of the views of different objects, resulting in the untangling of the view-manifolds between individual objects within the same category and across categories. This untangling enables the model to discriminate and recognize objects within the same category, independent of viewpoints. We found that this ability is not limited to the trained objects, but transfers to novel objects in both trained and untrained categories, as well as to a variety of completely novel artificial synthetic objects. This transfer in learning suggests the modification of distance metrics in view- manifolds is more general and abstract, likely at the levels of parts, and independent of the specific objects or categories experienced during training. Interestingly, the resulting transformation of feature representation in the deep networks is found to significantly better match human perceptual similarity judgment than AlexNet, suggesting that object persistence could be an important constraint in the development of perceptual similarity judgment in biological neural networks.

研究动机与目标

• 探究视觉经验中的物体持续性约束是否塑造人工神经网络的感知相似性判断。
• 开发一种深度学习模型，通过3D物体的多视角训练学习不变且对视角鲁棒的表征。
• 评估所得特征表征是否能泛化到跨类别的新未见物体。
• 检验所学习的视图流形结构是否比标准DCNN（如AlexNet）更符合人类感知相似性判断。

提出的方法

• 使用孪生三元组网络架构微调预训练的AlexNet，通过最小化同一物体不同视角间的距离来强制实现物体持续性。
• 在渲染的3D物体视角上训练网络，利用三元组损失将同一物体在不同视角下的表征拉近。
• 应用距离度量学习以分离同类与异类物体之间的视图流形。
• 采用基于类间与类内方差的评分指标量化物体表征的分离程度：$\text{Score}_i = \frac{\sigma_{\text{inter\_instance}}}{\sigma_{\text{intra\_instance}}}$。
• 在合成数据集和真实世界数据集（包括人类相似性判断数据）上评估新物体检索与相似性判断的性能。
• 在已训练和未训练类别的实例与类别检索任务中，对比OPnet与AlexNet及其他基线模型的性能。

实验结果

研究问题

• RQ1 在训练过程中强制实施物体持续性是否能提升网络对新未见物体感知相似性的判断能力？
• RQ2 由物体持续性诱导的视图流形学习是否能泛化到训练数据之外的新实例与新类别？
• RQ3 OPnet所得的特征表征在多大程度上优于标准DCNN（如AlexNet）更符合人类感知相似性判断？
• RQ4 该性能提升是否源于对抽象部件级特征的学习，而非类别特异性或物体特异性模式？

主要发现

• OPnet在新实例测试集上取得了0.535的相似性评分，显著高于AlexNet的0.328，表明其具有更强的类内聚类与类间分离能力。
• 该模型在已训练和未训练类别的新物体上均展现出良好的泛化能力，表明其发展出了通用且抽象的表征。
• OPnet在合成新物体的实例与类别图像检索任务中表现更优，尤其在类内区分能力上超越了AlexNet。
• OPnet学习到的视图流形比AlexNet更符合人类感知相似性判断，支持了物体持续性可能塑造大脑中感知相似性的假设。
• 在缺乏类别结构的真实世界数据集上，OPnet的优势减弱，表明其优势体现在结构化、基于类别的区分任务中。
• 该方法表明，物体持续性约束可能驱动了部件级别抽象的形成，从而在物体实例与类别间实现泛化。