[论文解读] Versor: A Geometric Sequence Architecture

Truong Minh Huy, Edward Hirst|arXiv (Cornell University)|Feb 10, 2026

Algebraic and Geometric Analysis被引用 0

一句话总结

Versor 引入基于 CGA 的序列架构，使用 Geometric Product Attention 和 Recursive Rotor Accumulator 来实现尺度泛化、可解释性与硬件高效的序列建模，在若干任务上优于 Transformer。

ABSTRACT

A novel sequence architecture is introduced, Versor, which uses Conformal Geometric Algebra (CGA) in place of traditional linear operations to achieve structural generalization and significant performance improvements on a variety of tasks, while offering improved interpretability and efficiency. By embedding states in the $Cl_{4,1}$ manifold and evolving them via geometric transformations (rotors), Versor natively represents $SE(3)$-equivariant relationships without requiring explicit structural encoding. Versor is validated on chaotic N-body dynamics, topological reasoning, and standard multimodal benchmarks (CIFAR-10, WikiText-103), consistently outperforming Transformers, Graph Networks, and geometric baselines (GATr, EGNN). Key results include: orders-of-magnitude fewer parameters ($200 imes$ vs. Transformers); interpretable attention decomposing into proximity and orientational components; zero-shot scale generalization (0.993 vs. 0.070 MCC for ViT); and featuring a Recursive Rotor Accumulator (RRA) for $O(L)$ linear temporal complexity in dynamical systems, and a Geometric Product Attention (GPA) mechanism for $O(L^{2})$ global relational modeling, allowing for task-specific architectural pruning or hybridization depending on the required scale. In out-of-distribution tests, Versor maintains stable predictions while Transformers fail catastrophically. Custom Clifford kernels achieve a cumulative over $100 imes$ speedup via bit-masked contraction and specialized Matrix Isomorphism kernels, reducing per-step latency to 1.05 ms and outperforming highly-optimized Transformer baselines.

研究动机与目标

• 直接在序列模型中嵌入对称性先验以克服“欧几里得瓶颈”。
• 提出在 Cl4,1 下工作的基于 CGA 的序列架构，以建模 SE(3) 等变关系。
• 在标准 Transformer 与几何基线之上展示尺度泛化、可解释性与效率。
• 展示在混沌动力学、拓扑、视觉与语言任务中的多模态能力。

提出的方法

• 引入 Geometric Product Attention (GPA)，将注意力分解为标量（邻近性）和双向量（方向性）成分。
• 开发 Recursive Rotor Accumulator (RRA)，实现对 Spin(4,1)流形上状态演化的线性时间复杂度 O(L)。
• 通过 Manifold Normalization 强制保持流形约束，防止漂移并实现长期稳定动力学。
• 利用硬件优化的 Clifford 内核（位掩码与矩阵同构）加速 Clifford 乘积运算。
• 提供软件布局（gacore），并具备对 Clifford 代数的维度自适应与未来 GAPU 硬件提案的潜力。

Figure 1 : The Versor Architecture. (Left) Geometric Product Attention (GPA). (Right) The Recursive Rotor Accumulator (RRA).

实验结果

研究问题

• RQ1 Conformal Geometric Algebra 是否能在没有显式结构编码的情况下实现 SE(3) 等变的序列建模？
• RQ2 CGA 基于架构是否在尺度和密度下具有泛化能力，在长期或分布外设置中仍能保持性能？
• RQ3 GPA 的标量与双向量分量如何与动态任务中的近邻性与方向性交互学习相关？
• RQ4 Recursive Rotor Accumulator 是否能在 Chaotic 系统中实现线性时间递推并保持数值稳定性？
• RQ5 实现 Clifford 基序的实际延迟与参数效率所需的硬件与软件优化有哪些？

主要发现

• Versor 使用的参数量比 Transformer 少数量级（约减少 200×），在各类任务上表现具有竞争力至优越性。
• Geometric Product Attention 分解为邻近性（标量）与方向性（双向量）成分，支持可解释的相互作用规律。
• Versor 实现零样本尺度泛化，例如在拓扑连通性任务上的 MCC 为 0.993，而 ViT 为 0.070。
• Recursive Rotor Accumulator 提供 O(L) 推理与 O(1) 内存，支持带有数千步的长时间尺度动力学。
• 定制 Clifford 内核带来显著加速（约 100× 累积）与端到端时延约 1.05 ms，优于优化的 Transformer 基线。
• 在分布外测试中，Versor 保持稳定性，而 Transformer 基线可能发生灾难性失败。

Figure 2 : Geometric Attention Decomposition: Separating Force from Torque. Points labeled B0–B4 represent the 5 gravitationally-interacting bodies; B0 is the focal body for this visualization. The axes ( $x_{1}$ , $x_{2}$ ) are the 2D physical coordinates of the simulation. Line weights are proport