[论文解读] On Learning Sets of Symmetric Elements

Haggai Maron, Or Litany+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 67被引用 29

一句话总结

本文提出了对称元素的深度集合（DSS），一种新颖的架构，通过强制实现对元素排列和内在对称性（如图像中的平移）的等变性，从无序的对称数据集（如图像、点云和图）中学习。DSS层统一并推广了现有方法，证明了其对不变函数和等变函数的通用近似能力，并在图像、图和3D重建任务中实证性能优于孪生网络和先前的集合学习模型。

ABSTRACT

Learning from unordered sets is a fundamental learning setup, recently attracting increasing attention. Research in this area has focused on the case where elements of the set are represented by feature vectors, and far less emphasis has been given to the common case where set elements themselves adhere to their own symmetries. That case is relevant to numerous applications, from deblurring image bursts to multi-view 3D shape recognition and reconstruction. In this paper, we present a principled approach to learning sets of general symmetric elements. We first characterize the space of linear layers that are equivariant both to element reordering and to the inherent symmetries of elements, like translation in the case of images. We further show that networks that are composed of these layers, called Deep Sets for Symmetric Elements (DSS) layers, are universal approximators of both invariant and equivariant functions, and that these networks are strictly more expressive than Siamese networks. DSS layers are also straightforward to implement. Finally, we show that they improve over existing set-learning architectures in a series of experiments with images, graphs, and point-clouds.

研究动机与目标

• 为解决在元素具有内在对称性（如图像中的平移或图中的排列）的集合中学习的空白问题。
• 开发一种系统性框架，不仅强制实现对集合排列的等变性，还强制实现对单个元素内对称性的等变性。
• 证明DSS网络的通用近似定理，确立其在表达能力上超越孪生架构的能力。
• 在包括图像、图和点云在内的多种数据类型中，展示DSS在实证上持续优于现有集合学习模型。

提出的方法

• 使用群论表征同时对集合排列和元素对称性保持等变的线性层空间，推广DeepSets。
• 提出DSS层作为孪生处理（对每个元素独立应用）与共享聚合模块（处理所有元素之和）的组合。
• 将通用DSS层形式化为 $ L(x_i) = L_1(x_i) + L_2\left(\sum_{j \neq i} x_j\right) $，其中 $ L_1 $ 和 $ L_2 $ 为卷积层。
• 证明通用近似定理：当基础元素网络为通用时，DSS网络是不变函数和等变函数的通用近似器。
• 通过标准深度学习操作高效实现DSS层，支持即插即用式集成到现有架构中。
• 将DSS应用于多视角3D重建、图像帧去模糊和图分类任务，替代或增强先前的聚合方案。

实验结果

研究问题

• RQ1 如何设计对元素重排和集合元素内在对称性均保持等变的深度学习层？
• RQ2 能否构建一个统一框架，推广如孪生网络和DeepSets等现有架构，以适用于对称元素？
• RQ3 DSS网络的表达能力如何？其在学习不变函数和等变函数方面是否优于孪生网络？
• RQ4 DSS层能否在涉及对称数据集合的实际任务（如图像去模糊或3D形状重建）中提升性能？
• RQ5 通过基于求和的聚合在集合元素间共享中间信息，与后处理融合相比，对模型性能有何影响？

主要发现

• DSS层在表达能力上严格强于孪生网络，这一定理已通过不变函数和等变函数的通用近似定理得到证明。
• 在多视角3D重建任务中，DSS增强的Sridhar+DSS模型在汽车类别上将重建误差降低了22.6%（0.1645 → 0.1273），在飞机类别上降低了26.0%（0.1571 → 0.1163），表现出显著的性能提升。
• 在椅子类别上性能略有下降（0.1845 → 0.2345），表明对特定任务敏感，但平均误差从0.1687降至0.1593。
• DSS框架推广并统一了先前方法，包括DeepSets、孪生网络以及3D重建中的均值减法层。
• 在图和点云上的实验确认了持续改进，表明DSS在多种数据模态中均具有效性。
• 对等变层的理论表征使能够系统性地设计尊重数据中复杂对称结构的模型。