[论文解读] Tensor Balancing on Statistical Manifold

Mahito Sugiyama, Hiroyuki Nakahara+1 more|arXiv (Cornell University)|Feb 27, 2017

Tensor decomposition and applications被引用 5

一句话总结

该论文提出了一种基于牛顿法的新型张量平衡算法，通过将张量建模为双平坦统计流形上的概率分布，实现了二次收敛。利用Möbius反演公式，该方法解析计算流形的梯度，从而实现对多随机张量子流形的高效e-投影，数值结果表明其相比现有方法实现了数量级的速度提升。

ABSTRACT

We solve tensor balancing, rescaling an Nth order nonnegative tensor by multiplying N tensors of order N - 1 so that every fiber sums to one. This generalizes a fundamental process of matrix balancing used to compare matrices in a wide range of applications from biology to economics. We present an efficient balancing algorithm with quadratic convergence using Newton's method and show in numerical experiments that the proposed algorithm is several orders of magnitude faster than existing ones. To theoretically prove the correctness of the algorithm, we model tensors as probability distributions in a statistical manifold and realize tensor balancing as projection onto a submanifold. The key to our algorithm is that the gradient of the manifold, used as a Jacobian matrix in Newton's method, can be analytically obtained using the Moebius inversion formula, the essential of combinatorial mathematics. Our model is not limited to tensor balancing, but has a wide applicability as it includes various statistical and machine learning models such as weighted DAGs and Boltzmann machines.

研究动机与目标

• 解决张量平衡的开放问题——通过相乘N个N−1阶非负张量，对N阶非负张量进行重标度，使其成为多随机张量。
• 开发一种快速且收敛的张量平衡算法，克服Sinkhorn-Knopp算法的线性收敛性。
• 基于信息几何为张量平衡提供理论基础，将张量建模为双平坦黎曼流形上的概率分布。
• 将矩阵平衡推广至高阶张量，同时保持收敛性保证与计算效率。

提出的方法

• 使用在部分有序结果空间上的广义对数线性模型，将张量建模为双平坦统计流形上的概率分布。
• 将张量平衡表述为对多随机张量子流形的e-投影，其中每个纤维的和为1/(n^{N-1})。
• 利用Möbius反演公式解析计算流形的梯度，从而在牛顿法中实现精确的雅可比矩阵计算。
• 通过利用一个坐标系下(n−1)^N个条目不变的性质，将牛顿法中的方程数量从O(n^N)减少到O(n^{N-1})。
• 应用具有二次收敛性的牛顿法计算e-投影，避免求解完整的张量线性系统。
• 通过e-投影得到的对偶参数的指数变换，恢复平衡张量R^m。

实验结果

研究问题

• RQ1 牛顿法能否在保证二次收敛的前提下应用于张量平衡，从而避免Sinkhorn-Knopp算法的线性收敛？
• RQ2 如何解析计算统计流形的梯度，以实现在张量平衡中高效进行牛顿迭代？
• RQ3 张量平衡背后的信息几何结构是什么？其如何推广矩阵平衡？
• RQ4 Möbius反演公式能否用于推导此情境下Fisher信息矩阵的闭式表达式？
• RQ5 所提算法的计算复杂度是多少？其随张量阶数与规模的扩展特性如何？

主要发现

• 所提出的基于牛顿法的算法实现了二次收敛，在数值实验中显著优于线性收敛的Sinkhorn-Knopp算法。
• 该算法在矩阵平衡实验中相比现有方法快几个数量级。
• 通过Möbius反演公式可解析获得统计流形的梯度，从而实现无需数值近似的精确雅可比矩阵计算。
• 牛顿法中方程的数量被减少至O(n^{N-1})，使该方法在高阶张量上具有可扩展性。
• 张量平衡被严格表述为对多随机张量双平坦子流形的e-投影，确保了解的存在性与唯一性。
• 该方法可推广至加权DAG和Boltzmann机等多种模型，展现出超越张量平衡的广泛适用性。