[论文解读] Rewrite the Stars

Xu Ma, Xiyang Dai+3 more|arXiv (Cornell University)|Mar 29, 2024

Historical and Architectural Studies被引用 11

一句话总结

简要结论：该论文表明逐元素星操作（乘法）将输入映射到非常高维、非线性特征空间，使简单的 StarNet 模型在低延迟下也能实现具有竞争力的准确率。它提供理论分析、实证证据，以及一个围绕星操作构建的概念验证网络。

ABSTRACT

Recent studies have drawn attention to the untapped potential of the "star operation" (element-wise multiplication) in network design. While intuitive explanations abound, the foundational rationale behind its application remains largely unexplored. Our study attempts to reveal the star operation's ability to map inputs into high-dimensional, non-linear feature spaces -- akin to kernel tricks -- without widening the network. We further introduce StarNet, a simple yet powerful prototype, demonstrating impressive performance and low latency under compact network structure and efficient budget. Like stars in the sky, the star operation appears unremarkable but holds a vast universe of potential. Our work encourages further exploration across tasks, with codes available at https://github.com/ma-xu/Rewrite-the-Stars.

研究动机与目标

• 证明星操作将输入映射到一个极高维、非线性特征空间，类似于核技巧。
• 提供对星操作的表征能力的理论与实证验证。
• 引入 StarNet——一个简洁、高效的利用星操作的网络，并将其与其他高效模型进行比较。
• 展示基于星的网络在 CPU/GPU 及移动设备上以更低延迟超越若干高效架构。

提出的方法

• 将星操作重新表述以显式揭示它所诱导的高维特征空间（在单层中大约为 (d/√2)^2 ）。
• 展示跨层叠加星操作会导致隐式维度的指数增长（少数几层即可接近近乎无限）。
• 将星操作定位为类似核的机制，在低维计算中实现高表达能力。
• 构建 DemoNet 以比较星与求和，在分类任务上证明星的经验优越性。
• 开发 StarNet 作为一个最小、有效的架构，依赖星块和标准卷积，不使用复杂的设计技巧。

实验结果

研究问题

• RQ1 星操作是否隐式将输入映射到类似多项式核的非常高维特征空间？
• RQ2 一个使用星操作的紧凑网络（StarNet）是否能够在与其他高效模型相比时达到具有竞争力的准确率且延迟较低？
• RQ3 星操作如何与激活函数、宽度和深度相互作用，影响性能与效率？
• RQ4 有哪些经验和理论证据支持星操作的核式解释？

主要发现

• 星操作在单层中诱导约 ((d+2)(d+1)/2) ≈ (d/√2)^2 维的隐式特征空间，类似多项式核。
• 当有 l 层时，隐式特征维数增长为 (d/√2)^{2^{l}}，少数几层即可接近近乎无限的维度。
• 在 DemoNet 中，星操作在不同宽度和深度下始终优于求和，且在较窄宽度时收益更大。
• 在没有激活函数的星网络中，性能仍保留大部分，而没有激活的求和显著下降。
• StarNet 在 ImageNet-1K 上的 top-1 准确率为 73.5%，在 iPhone13 上 0.7 ms，且在 1G FLOPs 预算下的表现具有竞争力，通常在相似延迟下优于若干高效模型。
• 将星替换为求和在 StarNet 消融实验中总体上降低了 3.1% 的准确率。