[论文解读] Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks

Juho Lee, Yoonho Lee+4 more|arXiv (Cornell University)|Oct 1, 2018

Image Retrieval and Classification Techniques参考文献 37被引用 151

一句话总结

该论文提出 Set Transformer，一种基于注意力的架构，包含 SAB、ISAB、PMA 块来处理集合，证明对置换不变函数的普适性，并在基于集合的任务上展示出强大的实证性能。

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

研究动机与目标

• 在保持置换不变性的前提下，提出并定义一个在集合上工作的神经架构。
• 证明 Set Transformer 对置换不变函数的普遍性。
• 在多样化的集合任务上评估该架构，以展示其有效性和可扩展性。

提出的方法

• 引入 SAB（集合注意力块）和 ISAB（诱导集合注意力块），以捕捉集合内部的交互。
• 使用 PMA（通过多头注意力进行池化）来生成置换不变的集合表示。
• 证明普遍性：编码器可忽略成对项以恢复实例级前馈网络，解码器可表达基于和的池化和类比矩的函数。
• 提供对多任务的架构细节和训练协议，包括最大值回归、字符计数、高斯混合、异常检测和点云分类。

实验结果

研究问题

• RQ1 基于注意力的架构是否能够在集合上实现置换不变性和普遍函数逼近性？
• RQ2 SAB、ISAB 和 PMA 组件如何在各种集合任务中提升性能和扩展性？
• RQ3 Set Transformer 在集合回归、计数、聚类/混合建模、异常检测以及三维点云等任务上的经验表现如何？

主要发现

• Set Transformer 是置换不变函数空间中的普遍函数逼近器。
• SAB+PMA 变体在若干任务上表现出色，常常超越基线（例如唯一字符计数和 CIFAR-100 元聚类）。
• 在各项实验中，增加 ISAB 的诱导点数或使用 PMA 通常会提升性能，显示其对更大或更复杂集合的可扩展性（包括 CIFAR-100 元聚类和大规模二维混合）。
• 该架构支持多种模态，包括实值集合、用于聚类的图像衍生特征、合成高斯混合、基于 CelebA 的异常任务，以及 ModelNet40 点云。