[论文解读] The NEU Meta-Algorithm for Geometric Learning with Applications in Finance

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Data Classification被引用 1

一句话总结

本文提出非欧几里得升级（NEU）元算法，一种几何学习框架，可学习保持各类模型类通用近似性质（UAP）的表达性特征映射。通过利用在所有保向同胚中具有普遍性的深度神经网络架构，NEU 确保学习到的表征为子流形，并为记忆化和紧支集提供了可量化的参数与深度要求。

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

研究动机与目标

• 开发一种元过程，将通用近似性质（UAP）嵌入任意模型类，同时保持其内在不变性。
• 确定特征映射可被学习的条件，使其可渐近地形变为恒等映射。
• 形式化学习表征的几何结构，表明其始终为特征空间的子流形。
• 推导出在固定紧支集外点的前提下，记忆输入-输出对所需的精确参数与深度要求。
• 证明标准深度前馈网络在使用常见激活函数时，无法同时满足所有这些性质。

提出的方法

• 设计一种在输入空间所有保向同胚中具有普遍性的深度神经网络架构。
• 构建一种特征映射学习过程 NEU，确保所得表征为特征空间的子流形。
• 将渐近形变为恒等映射作为 NEU 下特征映射可学习性的充分条件。
• 以定性与定量形式推导近似保证，包括参数数量与深度的依赖关系。
• 将模型固定点所在的紧集大小表述为网络深度的函数。
• 将 NEU 实现为一种元算法，可应用于各类模型类而无需改变其归纳偏差。

实验结果

研究问题

• RQ1 是否存在一种元算法，可学习保持各类模型类通用近似性质（UAP）的特征映射？
• RQ2 在特征映射可渐近形变为恒等映射的条件下，NEU 在何种情况下可学习该映射？
• RQ3 NEU 学习到的特征表征的几何结构是什么？其与子流形有何关系？
• RQ4 为使 NEU 在固定紧支集外点的前提下记忆任意输入-输出集合，需要多少参数与多深的网络？
• RQ5 为何使用常见激活函数的标准深度前馈网络无法同时满足 NEU 的所有期望性质？

主要发现

• 无论底层模型类为何，NEU 学习到的特征映射始终是特征空间的子流形。
• NEU 学习到的特征映射可保证保留目标模型类的通用近似性质（UAP）。
• NEU 的底层架构在输入空间的所有保向同胚中具有普遍性，从而实现高表达能力。
• 记忆化所需的参数数量随输入-输出集合大小而增长，且模型固定的紧集随网络深度增大。
• 任何使用常见激活函数的标准深度前馈网络均无法同时实现 NEU 的所有性质，如 UAP 保持与紧支集。
• 在金融与模拟数据上的实证评估表明，NEU 在回归与降维任务中优于现有方法。