[论文解读] NEU: A Meta-Algorithm for Universal UAP-Invariant Feature Representation

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|Aug 31, 2018

Machine Learning and Data Classification参考文献 55被引用 8

一句话总结

该论文提出 NEU，一种元算法，通过一种新颖的重构网络架构学习通用的、对 UAP 不变的特征表示，确保特征图在拓扑上具有鲁棒性，并渐近地可变形为恒等函数。NEU 通过基于温度依赖的加权方案重加权训练样本，实现更好的泛化性能，并提供逼近能力和记忆容量的理论保证。

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

研究动机与目标

• 开发一种元算法，保留任意模型类的通用逼近性质（UAP），并通过学习的特征图增强其表达能力。
• 确保学习到的特征图对 UAP 不变，即在特征变换后，组合模型类仍保持通用性。
• 设计一种可连续学习恒等函数的特征图，避免不必要的结构偏差。
• 为所提出的架构提供逼近精度、参数效率和记忆容量的理论保证。
• 使用金融数据和模拟数据，在回归和降维任务上评估 NEU 的性能。

提出的方法

• 引入一种新型深度神经网络架构，称为重构网络 $\Phi_{\star:d}$，其在输入空间上是保向同胚的通用集合。
• 采用一种元算法，通过基于数据依赖权重 $w_n^{\star,\lambda}$ 的加权损失函数学习特征图 $\hat{\phi}$，该权重基于损失值的指数重加权得出。
• 使用温度超参数 $\lambda > 0$ 控制高损失样本的影响，权重定义为 $w_n^{\lambda,\hat{f}} = \frac{e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}{\sum_n e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}$。
• 利用相对熵（KL 散度）推导逼近保证，并应用 Gibbs 不等式以界定泛化误差。
• 证明 NEU 学习到的特征图始终是特征空间的子流形，确保拓扑一致性。
• 量化重构网络为记忆输入-输出对而所需的参数数量和深度，同时固定紧集外的所有点。

实验结果

研究问题

• RQ1 能否设计一种元算法，学习到的特征图可保留任意模型类的通用逼近性质（UAP）？
• RQ2 何种架构和训练条件可确保学习到的特征图渐近可变形为恒等函数？
• RQ3 如何通过数据依赖的重加权改善泛化性能，从而缩小训练与测试性能之间的差距？
• RQ4 重构网络为记忆任意输入-输出对所需的最小深度和参数量是多少，同时固定紧集外的行为？
• RQ5 标准深度前馈网络在使用常见激活函数时，在多大程度上无法满足 UAP 不变性和恒等函数连续学习的性质？

主要发现

• NEU 元算法通过学习满足 Brouwer 拓扑约束的单射特征图并映射到维度至少为 $d$ 的特征空间，确保了 UAP 不变性。
• NEU 学习到的特征图始终是特征空间的子流形，表明其具有拓扑规则性和稳定性。
• 重构网络 $\Phi_{\star:d}$ 是 $\mathbb{R}^d$ 上保向同胚的通用集合，能够建模任意光滑、可逆变换。
• NEU 模型的泛化误差由加权损失与均匀损失期望之间的差异界定，当且仅当权重分布与均匀先验匹配时，该界趋于零。
• 量化了重构网络为记忆任意输入-输出对所需参数数量，且行为未被固定的紧集大小随模型深度增加而扩大。
• 使用标准激活函数的深度前馈网络通常无法满足所有要求的性质，包括 UAP 不变性和连续恒等函数学习。