[论文解读] Structured adaptive and random spinners for fast machine learning computations

Mariusz Bojarski, Anna Choromanska+7 more|arXiv (Cornell University)|Oct 19, 2016

Stochastic Gradient Optimization Techniques被引用 21

一句话总结

本文提出了结构化旋转矩阵（Structured Spinners）——一种高效、参数化的矩阵形式，由包含旋转的三个结构化块相乘构成，用于加速机器学习计算。通过用这些结构化矩阵替代密集投影矩阵，该方法实现了次二次方空间复杂度和 O(n log m) 的计算时间，借助快速傅里叶变换（FFT）技术，使核近似、降维、局部敏感哈希（LSH）、深度学习及凸优化等任务获得显著加速，且在多种应用场景中具备理论保证与实证验证。

ABSTRACT

We consider an efficient computational framework for speeding up several machine learning algorithms with almost no loss of accuracy. The proposed framework relies on projections via structured matrices that we call Structured Spinners, which are formed as products of three structured matrix-blocks that incorporate rotations. The approach is highly generic, i.e. i) structured matrices under consideration can either be fully-randomized or learned, ii) our structured family contains as special cases all previously considered structured schemes, iii) the setting extends to the non-linear case where the projections are followed by non-linear functions, and iv) the method finds numerous applications including kernel approximations via random feature maps, dimensionality reduction algorithms, new fast cross-polytope LSH techniques, deep learning, convex optimization algorithms via Newton sketches, quantization with random projection trees, and more. The proposed framework comes with theoretical guarantees characterizing the capacity of the structured model in reference to its unstructured counterpart and is based on a general theoretical principle that we describe in the paper. As a consequence of our theoretical analysis, we provide the first theoretical guarantees for one of the most efficient existing LSH algorithms based on the HD3HD2HD1 structured matrix [Andoni et al., 2015]. The exhaustive experimental evaluation confirms the accuracy and efficiency of structured spinners for a variety of different applications.

研究动机与目标

• 解决机器学习算法中密集投影矩阵带来的高计算与内存开销问题。
• 开发一种通用的结构化框架，在显著降低时间和空间复杂度的同时保持精度。
• 为结构化矩阵的有效性提供理论依据，包括此前未能解释的方法（如 HD3HD2HD1 在交叉单纯形 LSH 中的应用）。
• 基于单一理论原则，统一并推广现有的结构化矩阵方法。
• 在多种机器学习应用中验证该框架，包括随机特征映射、牛顿小样本（Newton sketches）与量化。

提出的方法

• 提出结构化旋转矩阵作为三个矩阵块的乘积，每个块均包含旋转，以形成高度参数化的结构化矩阵。
• 利用哈达玛矩阵（H）与随机或自适应对角矩阵（D）组合，形成如 HD3HD2HD1 的矩阵，通过 FFT 实现快速计算。
• 将该框架应用于多种机器学习任务：通过随机特征映射实现核近似、降维、交叉单纯形 LSH、深度学习与牛顿小样本。
• 基于一般性原理进行理论分析，以表征结构化模型相对于无结构化模型的容量。
• 提出一种新颖的理论框架，解释结构化神经网络成功的原因，并首次为基于 HD3HD2HD1 的 LSH 提供理论保证。
• 采用实际运行时间与收敛指标，对比结构化旋转矩阵与精确解及无结构化基线在优化与核近似任务中的表现。

实验结果

研究问题

• RQ1 是否可以设计出在保持高精度的同时，显著降低机器学习中计算与内存成本的结构化矩阵？
• RQ2 为何如 HD3HD2HD1 这类结构化矩阵在交叉单纯形 LSH 中能实现最先进性能？其理论基础为何？
• RQ3 能否建立一个统一的理论框架，解释包括学习型与随机型变体在内的多种结构化矩阵族的有效性？
• RQ4 在优化与核近似任务中，结构化旋转矩阵相较于精确解或无结构化投影，在收敛速度与精度方面表现如何？
• RQ5 结构化模型的容量与无结构化对应物之间存在何种理论关系？

主要发现

• 结构化旋转矩阵的投影计算时间达到 O(n log m)，远快于密集矩阵的 O(mn)，尤其在应用 FFT 时优势显著。
• 该方法将空间复杂度降低至次二次方，通常为线性或常数，使在内存受限系统中部署成为可能。
• 在牛顿小样本优化中，结构化旋转矩阵将复杂度从 O(nd²) 降低至 O(dn log n + md²)，实际运行时间在低维情况下表现出显著提升。
• 本文首次为已知最快的交叉单纯形 LSH 所用的 HD3HD2HD1 矩阵提供了理论依据。
• 实证结果表明，结构化旋转矩阵在逻辑回归与核近似任务中收敛速度与精确方法相当，同时实现显著加速。
• 该框架统一并推广了先前的结构化矩阵方法（包括 P-model），并首次为结构化神经网络架构提供了理论保证。