[论文解读] Rethinking Positional Encoding

Jianqiao Zheng, Sameera Ramasinghe+1 more|arXiv (Cornell University)|Jul 6, 2021

Multimodal Machine Learning Applications参考文献 38被引用 30

一句话总结

论文通过使用移位的连续基函数将位置编码推广到超越傅里叶特征，将性能与嵌入的稳定秩与距离保持相关联，并用高斯嵌入器验证。

ABSTRACT

It is well noted that coordinate based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been solely studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice. Codes available at https://github.com/osiriszjq/Rethinking-positional-encoding.

研究动机与目标

• 扩展对位置编码在傅里叶映射之外的理解。
• 提出并分析基于移位连续基函数的嵌入方案。
• 通过嵌入坐标的稳定秩和距离保持来表征性能。
• 展示一个实用的高斯嵌入器，作为傅里叶特征的有效替代方案。

提出的方法

• 将位置编码建模为对移位基函数的系统采样。
• 定义嵌入器函数并分析它们的秩和距离保持性质。
• 在经验评估中使用稳定秩作为秩的实际替代。
• 展示高斯嵌入器在记忆化与泛化之间的可控权衡。
• 将高斯嵌入器与随机傅里叶特征联系起来，并在特定条件下推导等价性。
• 对一维和二维信号进行实验以比较嵌入器。

实验结果

研究问题

• RQ1 非傅里叶嵌入函数能否在坐标-MLP中有效用于位置编码？
• RQ2 嵌入的稳定秩和距离保持如何影响位置编码的性能？
• RQ3 基于高斯的嵌入器相对于傅里叶特征映射和RFF的实际性能如何？
• RQ4 如何在保持性能的同时，较高维的嵌入高效管理（例如通过可分离嵌入器）？
• RQ5 嵌入器带宽、稳定秩和距离保持之间的理论关系在经验中是否成立？

主要发现

• 位置编码的性能由近似秩（稳定秩）与距离保持之间的权衡所支配。
• 在秩-距离权衡框架下，任何连续函数都可以作为位置嵌入器。
• 高斯嵌入器在受控的稳定秩和稳健的距离保持下提供具有竞争力的性能。
• 与随机傅里叶特征相比，高斯嵌入器在低嵌入维度时更稳定。
• 嵌入器的可分离性使在维度更高的信号上实现高效扩展并保持性能成为可能。