[论文解读] Sketching and Neural Networks

Amit Daniely, Nevena Lazic+2 more|arXiv (Cornell University)|Apr 19, 2016

Machine Learning and Algorithms参考文献 24被引用 3

一句话总结

本文提出一种结合紧凑线性压缩与单层神经网络的方法，以高效学习高维二值数据上的稀疏多项式函数。通过使用小尺寸压缩（$O(k\log(d/\delta))$）的非恰当学习，该方法在 $1-\delta$ 的 $k$-稀疏输入上实现了可证明准确的分类，优于以往需要随多项式次数呈指数增长压缩尺寸的方法。

ABSTRACT

High-dimensional sparse data present computational and statistical challenges for supervised learning. We propose compact linear sketches for reducing the dimensionality of the input, followed by a single layer neural network. We show that any sparse polynomial function can be computed, on nearly all sparse binary vectors, by a single layer neural network that takes a compact sketch of the vector as input. Consequently, when a set of sparse binary vectors is approximately separable using a sparse polynomial, there exists a single-layer neural network that takes a short sketch as input and correctly classifies nearly all the points. Previous work has proposed using sketches to reduce dimensionality while preserving the hypothesis class. However, the sketch size has an exponential dependence on the degree in the case of polynomial classifiers. In stark contrast, our approach of using improper learning, using a larger hypothesis class allows the sketch size to have a logarithmic dependence on the degree. Even in the linear case, our approach allows us to improve on the pesky $O({1}/{γ^2})$ dependence of random projections, on the margin $γ$. We empirically show that our approach leads to more compact neural networks than related methods such as feature hashing at equal or better performance.

研究动机与目标

• 解决监督学习中高维稀疏数据带来的计算与统计挑战。
• 在保持稀疏多项式函数分类准确率的同时，减小模型大小与训练成本。
• 通过使用神经网络进行非恰当学习，克服以往方法在多项式次数上呈指数依赖的压缩尺寸问题。
• 设计一种保持稀疏性的压缩方案，实现稀疏输入的高效低维表示。
• 通过实证验证，表明使用神经网络进行压缩可获得比特征哈希或随机投影更小、更快、更准确的模型。

提出的方法

• 使用大小为 $O(k\log(d/\delta))$ 的紧凑线性压缩，降低 $k$-稀疏二值输入的维度。
• 采用带 ReLU 激活函数的单层神经网络，解码压缩结果并计算任意 $s$-稀疏的线性或多项式函数。
• 应用稀疏压缩矩阵以保持稀疏性，实现高效计算。
• 采用非恰当学习以扩大假设类，实现多项式次数的对数依赖，而非指数依赖。
• 利用 Johnson-Lindenstrauss 引理及压缩理论（如 Count-Min、Count-Sketch）确保内积保持。
• 采用 $\ell_1$-范数正则化与近端随机梯度，实现参数稀疏性并加快训练速度。

实验结果

研究问题

• RQ1 能否对高维稀疏二值数据进行紧凑压缩，同时保留计算任意稀疏多项式函数的能力？
• RQ2 使用神经网络解码压缩结果，是否能显著减小模型尺寸，相比传统压缩或哈希方法？
• RQ3 是否能将压缩尺寸降低至对多项式次数的对数依赖，同时保持高准确率？
• RQ4 与特征哈希和随机投影相比，使用神经网络进行压缩在模型尺寸与性能方面表现如何？
• RQ5 所提出方法在标注数据有限的真实世界数据集上是否保持良好的泛化性能？

主要发现

• 该方法使用 $O(k\log(d/\delta))$ 的压缩尺寸，在 $k$-稀疏二值输入上实现了 $1-\delta$ 的分类准确率，显著小于以往方法。
• 对于 $p$ 次多项式函数，压缩尺寸对 $p$ 呈对数依赖，而以往方法呈指数依赖。
• 实证结果表明，使用神经网络进行压缩可得到非零参数更少、准确率相当或更优的模型，优于特征哈希与高斯投影。
• 在实体类型标注任务中，压缩方法在准确率与参数效率上均优于单一大小为 500,000 的哈希函数。
• 在 Reuters 与 AG News 数据集上，压缩方法在第一层参数减少高达 50% 的情况下，实现了相似或更优的性能。
• 多个压缩块（$t \geq 2$）在相似模型尺寸下始终优于单块压缩，表明冗余与多样性具有优势。