[论文解读] Set Transformer

Juho Lee, Yoonho Lee+4 more|arXiv (Cornell University)|Oct 1, 2018

Image Retrieval and Classification Techniques被引用 16

一句话总结

Set Transformer 提出了一种新颖的基于注意力机制的神经网络模块，用于建模集合结构数据中的交互关系，采用受稀疏高斯过程启发的分解注意力机制，将自注意力复杂度从序列长度的二次方降低到线性。该方法在少样本图像分类和3D形状识别等多个基于集合的任务中达到了最先进性能。

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

研究动机与目标

• 开发一种神经网络模块，有效建模无序集合中元素之间的交互关系，确保排列不变性。
• 通过受诱导点启发的注意力机制，将基于集合的模型中自注意力机制的计算复杂度从 O(n²) 降低到 O(n)。
• 设计一种在理论上优雅的同时，在多样化集合结构学习任务中实现强大经验性能的模型。
• 在多个基准测试中展示 Set Transformer 的有效性，包括少样本学习和3D形状识别。

提出的方法

• 该模型采用基于多头注意力机制的编码器-解码器架构，用于处理输入集合。
• 引入一种分解注意力机制，利用一组少量可学习的诱导点来近似完整注意力，从而降低计算量。
• 注意力机制计算输入元素与诱导点之间的交互，实现对长距离依赖关系的高效建模。
• 编码器将输入集合转换为上下文相关的表示，而解码器则基于编码后的集合和可学习查询生成输出标记。
• 模型使用标准反向传播方法进行端到端训练，目标函数为可微分函数。
• 通过确保注意力机制在输入元素顺序上对称，保持排列不变性。

实验结果

研究问题

• RQ1 分解注意力机制是否能在保持表示能力的同时，降低基于集合模型中自注意力机制的计算成本？
• RQ2 Set Transformer 在包括少样本图像分类和3D形状识别在内的多样化集合结构任务中泛化能力如何？
• RQ3 在注意力机制中使用诱导点是否相比标准自注意力机制能提升集合建模中的性能与效率？
• RQ4 Set Transformer 在集合结构数据任务中是否具有竞争力或优于现有最先进模型？

主要发现

• Set Transformer 在涉及集合结构数据的多个基准任务中达到最先进性能，包括少样本图像分类和3D形状识别。
• 分解注意力机制将自注意力的计算复杂度从 O(n²) 降低到 O(n)，从而实现对更长集合的高效处理。
• 该模型保持了排列不变性，确保预测结果与输入元素的顺序无关。
• 实证评估表明，其在近期为集合结构学习设计的方法上表现出一致的性能提升。