[论文解读] Recursive Sketched Interpolation: Efficient Hadamard Products of Tensor Trains

Zhaonan Meng, Yuehaw Khoo+2 more|arXiv (Cornell University)|Feb 20, 2026

Tensor decomposition and applications被引用 0

一句话总结

本文提出 Recursive Sketched Interpolation (RSI)，一种可扩展的方法，在使用随机化 TT 草拟与插值分解的情况下，以 O(χ^3) 的复杂度计算张量训练的 Hadamard 乘积。RSI 能扩展至更复杂的逐元素映射，同时保持相同的计算成本。

ABSTRACT

The Hadamard product of two tensors in the tensor-train (TT) format is a fundamental operation across various applications, such as TT-based function multiplication for nonlinear differential equations or convolutions. However, conventional methods for computing this product typically scale as at least $\mathcal{O}(χ^4)$ with respect to the TT bond dimension (TT-rank) $χ$, creating a severe computational bottleneck in practice. By combining randomized tensor-train sketching with slice selection via interpolative decomposition, we introduce Recursive Sketched Interpolation (RSI), a ``scale product'' algorithm that computes the Hadamard product of TTs at a computational cost of $\mathcal{O}(χ^3)$. Benchmarks across various TT scenarios demonstrate that RSI offers superior scalability compared to traditional methods while maintaining comparable accuracy. We generalize RSI to compute more complex operations, including Hadamard products of multiple TTs and other element-wise nonlinear mappings, without increasing the complexity beyond $\mathcal{O}(χ^3)$.

研究动机与目标

• 证明在 TT 表示中对非线性 TT 基于计算的快速 Hadamard 乘积的需求。
• 提出 RSI 作为一个可扩展的算法，用以在降低复杂度的同时计算 TT Hadamard 乘积。
• 证明 RSI 在整个计算过程中维持 TT-键维 χ，避免产生过大的中间尺寸。
• 展示 RSI 对多 TT Hadamard 乘积及其他非线性逐元素映射的扩展。

提出的方法

• 将两个 TT 张量表示并在 TT 形式下定义它们的 Hadamard 乘积。
• 应用张量训练草拟以在不显式形成完整草拟的情况下压缩输入 TT。
• 计算草拟张量的 Hadamard 乘积并执行行的插值分解（ID），以获得下一个 TT 核。
• 递归重复草拟与 ID 步骤，逐核构建完整的 Hadamard 乘积 TT。
• 利用拷贝张量图来形式化 Hadamard 乘积及草拟过程。
• 将 RSI 泛化为多 TT 张量的 Hadamard 乘积以及其他非线性逐元素映射，而不增加渐近成本。

实验结果

研究问题

• RQ1 RSI 是否仅以 O(χ^3) 次操作即可计算两个 TT 张量的 Hadamard 乘积？
• RQ2 RSI 在计算过程中是否维持固定的 TT 键维 χ，以避免代价高昂的秩截断？
• RQ3 随机 TT 草拟如何与插值分解协同作用以产生准确的 Hadamard 乘积？
• RQ4 RSI 能否扩展为多个 TT 张量的 Hadamard 乘积以及其他非线性逐元素映射，而不产生额外的渐近代价？

主要发现

• RSI 在 TT 张量的 Hadamard 乘积方面实现了 O(χ^3) 的计算成本，相较传统的 O(χ^4) 方法有优势。
• RSI 在整个计算过程中维持 TT 的键维 χ，避免了昂贵的中间增长。
• RSI 将张量训练草拟与插值分解结合使用，在不显式形成大草拟的情况下获得高精度结果。
• RSI 可以扩展到对多个 TT 张量的 Hadamard 乘积以及对其他逐元素非线性映射，且保持相同的 O(χ^3) 复杂度。
• 在不同 TT 场景下的基准结果显示，RSI 在运行时扩展性方面优于基线方法，同时保持可比的准确度。