[论文解读] Universal Approximation Theorem for Equivariant Maps by Group CNNs
本文通过群卷积神经网络（CNN）建立了一个统一的通用近似定理，适用于群等变映射，证明了两层群CNN能够近似任意G-等变的Lipschitz映射，其定义域和陪域为无穷维函数空间——即使对于非紧致群也成立——方法是将问题简化为通过全连接神经网络（FNN）近似映射的生成元。关键贡献在于提出一个适用于连续非紧致群作用的通用框架，包括欧几里得群和洛伦兹群，为3D点云和NLP嵌入提供了理论保证。
Group symmetry is inherent in a wide variety of data distributions. Data processing that preserves symmetry is described as an equivariant map and often effective in achieving high performance. Convolutional neural networks (CNNs) have been known as models with equivariance and shown to approximate equivariant maps for some specific groups. However, universal approximation theorems for CNNs have been separately derived with individual techniques according to each group and setting. This paper provides a unified method to obtain universal approximation theorems for equivariant maps by CNNs in various settings. As its significant advantage, we can handle non-linear equivariant maps between infinite-dimensional spaces for non-compact groups.
研究动机与目标
- 统一现有针对不同对称群的等变映射通用近似定理。
- 将通用近似定理扩展至非紧致群和无穷维函数空间。
- 为群CNN在3D数据处理和具有双曲几何结构的NLP中的应用建立理论基础。
- 弥合等变深度学习中有限维表示与函数表示之间的差距。
提出的方法
- 形式化定义了从函数空间 C₀(𝒮) 到 C₀(𝒯) 的等变映射，其中 𝒮 和 𝒯 分别为 ℝᵈ 和 ℝᵈ′ 中的定义域。
- 提出一个转换定理（定理9），表明G-等变映射由其生成元唯一确定，从而可将问题简化为FNN的近似。
- 证明了在无穷维、非紧致设定下，两层FNN对Lipschitz映射具有新颖的通用近似定理（定理13）。
- 将定理13与定理9结合，推导出在群作用和测度满足弱条件时，群CNN的通用近似结果（定理14）。
- 将该框架应用于具体群，如 SE(d)、E(d) 和 SO⁺(d,1)，表明其在3D运动、点云和双曲NLP表示中的适用性。
- 使用勒贝格测度和紧子集，以确保在 ε 容差范围内的均匀近似。
实验结果
研究问题
- RQ1能否为涵盖多种对称群（包括非紧致群）的G-等变映射建立统一的通用近似理论框架？
- RQ2是否可以将通用近似定理扩展至具有无界定义域的无穷维函数空间？
- RQ3如何利用全连接神经网络近似G-等变映射的生成元，以实现群CNN的构建？
- RQ4在处理具有欧几里得对称性的3D数据或具有双曲结构的NLP数据时，群CNN的理论保证是什么？
- RQ5该框架能否扩展至 ℝᵈ 以外的非欧几里得定义域？
主要发现
- 建立了在输入定义域为非紧致时，G-等变Lipschitz映射在无穷维函数空间之间的通用近似定理。
- 该框架证明了在群作用和测度满足弱条件时，两层群CNN可在紧子集上以任意精度近似任意G-等变映射。
- 该结果适用于非紧致群，如欧几里得群 E(d) 和特殊欧几里得群 SE(d)，扩展了以往仅限于紧致群的研究成果。
- 该方法为群CNN在3D数据处理（包括点云和3D运动建模）中提供了理论依据。
- 该框架支持在NLP中的应用，通过 SO⁺(d,1) 在上半平面的作用，适用于双曲词嵌入。
- 证明依赖于在无穷维、非紧致设定下FNN的新型通用近似定理，这是关键技术进展。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。