[论文解读] Note: low-rank tensor train completion with side information based on Riemannian optimization

Stanislav Budzinskiy, Н. Л. Замарашкин|arXiv (Cornell University)|Jun 23, 2020

Tensor decomposition and applications参考文献 10被引用 4

一句话总结

该论文提出RTTC-SI，一种用于低秩张量列车（TT）填充的黎曼优化算法，通过在模式纤维上施加子空间约束的形式引入辅助信息。通过利用原始张量与辅助信息子空间中较小张量之间的一一对应关系，该方法在远少于标准TT填充所需观测条目数的情况下实现了鲁棒恢复，其相变阈值与矩阵填充理论一致，呈现O(M log M)的特性。

ABSTRACT

We consider the low-rank tensor train completion problem when additional side information is available in the form of subspaces that contain the mode-$k$ fiber spans. We propose an algorithm based on Riemannian optimization to solve the problem. Numerical experiments show that the proposed algorithm requires far fewer known entries to recover the tensor compared to standard tensor train completion methods.

研究动机与目标

• 解决当模式-k纤维的子空间约束作为附加辅助信息时，低秩张量列车填充问题。
• 开发一种基于黎曼优化的算法，利用此类辅助信息以减少所需观测张量条目的数量。
• 分析辅助信息如何影响张量填充中的相变行为，特别是成功恢复所需的观测条目数阈值。
• 将现有带辅助信息的矩阵填充结果扩展至张量列车格式，特别是在样本复杂度方面。

提出的方法

• 该方法通过由辅助信息矩阵Q_k定义的正交投影，将原始张量填充问题映射到更小的张量空间，从而将可行集转换为N_r(Q)。
• 它将填充问题表述为在缩减空间中低秩TT张量流形上最小化最小二乘目标函数，使用变换X = QY。
• 在较小空间中低秩TT张量的流形M_r上应用黎曼优化，采用带重投影和向量传输的黎曼梯度下降法。
• 通过将欧氏梯度投影到TT流形的切空间上，计算黎曼梯度，并根据辅助信息约束进行调整。
• 采用基于TT-SVD的重投影方法，该方法保持子空间约束并确保在可行集N_r(Q)内收敛。
• 该算法名为RTTC-SI，继承了RTTC的计算效率，但增强了对辅助信息的尊重，从而实现更快、更鲁棒的收敛。

实验结果

研究问题

• RQ1 以受约束的模式-k纤维子空间形式存在的辅助信息是否能减少低秩张量列车填充所需的观测条目数？
• RQ2 通过黎曼优化引入辅助信息后，相变阈值是否更接近理论最小值，如O(M log M)？
• RQ3 当存在辅助信息但未被利用时，RTTC-SI算法与标准RTTC相比性能如何？
• RQ4 仅对部分模式提供辅助信息（即部分子空间信息）时，对恢复阈值有何影响？

主要发现

• 即使已知条目数低于标准方法的典型阈值，RTTC-SI也能以远少于标准RTTC的观测条目数实现成功的张量恢复。
• RTTC-SI的相变发生在|Ω| = O(M log M)，与带辅助信息的矩阵填充中观察到的理论边界一致。
• 数值实验表明，当使用辅助信息时，收敛所需的观测条目数与原始张量维度N无关。
• 当仅对部分模式提供辅助信息时，恢复阈值随无约束模式数的增加而上升，但仍显著低于标准TT填充的阈值。
• 相图实验表明，即使在数据稀疏的情况下，该算法仍保持鲁棒性和收敛性，表现为在低采样率下从失败到成功的尖锐过渡。
• 即使初始近似已满足辅助信息约束，RTTC-SI在性能上仍优于标准RTTC，证明该优化方法能有效利用约束条件。