[论文解读] Statistical inference of finite-rank tensors

Hongbin Chen, Jean-Christophe Mourrat+1 more|arXiv (Cornell University)|Apr 12, 2021

Tensor decomposition and applications被引用 5

一句话总结

该论文为有限秩张量推理模型的极限自由能建立了变分公式，表明其等于哈密顿-雅可比方程的粘性解。关键结果在先验和自由能的适度正则性与集中条件下，以涉及相互作用张量和初始自由能的上确界-下确界变分表达式，确定了渐近互信息。

ABSTRACT

We consider a general statistical inference model of finite-rank tensor products. For any interaction structure and any order of tensor products, we identify the limit free energy of the model in terms of a variational formula. Our approach consists of showing first that the limit free energy must be the viscosity solution to a certain Hamilton-Jacobi equation.

研究动机与目标

• 推导任意张量阶数和相互作用结构的有限秩张量推理模型中自由能的渐近极限。
• 确定观测张量数据与潜在低秩信号之间极限互信息，该互信息决定了恢复的信息论阈值。
• 利用哈密顿-雅可比方程的粘性解理论，建立极限自由能的一般变分公式。
• 在统一框架下推广和拓展先前关于突触张量模型、威格纳（Wigner）、威尔克斯（Wishart）及随机块模型的研究成果。

提出的方法

• 引入辅助观测 $\overline{Y} = X\sqrt{2h} + Z$ 以丰富推理模型，使哈密顿-雅可比PDE技术得以应用。
• 定义联合哈密顿量 $H_N(t,h,x)$，结合原始张量信号与辅助线性观测，从而导出自由能 $F_N(t,h)$。
• 证明极限自由能 $\lim_{N\to\infty} \mathbb{E}[F_N(t,h)]$ 是具有初始条件 $\psi(h) = \lim_{N\to\infty} \mathbb{E}[F_N(0,h)]$ 的哈密顿-雅可比方程的唯一粘性解。
• 建立变分公式 $\sup_{h''} \inf_{h'} \{ h''\cdot(h - h') + \psi(h') + t\mathsf{H}(h'') \}$ 作为极限自由能，其中 $\mathsf{H}(q) = (AA^T) \cdot q^{\otimes \mathsf{p}}$。
• 利用凸性与次微分分析验证所提公式满足粘性解条件。
• 利用初始自由能的局部一致集中性与 $C^1$ 正则性，确保解的收敛性与唯一性。

实验结果

研究问题

• RQ1 在任意阶数 $\mathsf{p}$ 和相互作用张量 $A$ 的有限秩张量模型中，观测张量 $Y$ 与潜在矩阵 $X$ 之间的渐近互信息是什么？
• RQ2 此类模型的极限自由能如何依赖于编码在 $A$ 中的相互作用结构和张量阶数 $\mathsf{p}$？
• RQ3 极限自由能能否表示为涉及初始先验与张量相互作用泛函 $\mathsf{H}$ 的变分公式？
• RQ4 在何种条件下，自由能收敛于哈密顿-雅可比方程的粘性解？
• RQ5 辅助观测 $\overline{Y}$ 在实现对原始推理模型的PDE分析中起到什么作用？

主要发现

• 极限自由能 $\lim_{N\to\infty} \mathbb{E}[F_N(t,h)]$ 由变分公式 $\sup_{h''} \inf_{h'} \{ h''\cdot(h - h') + \psi(h') + t\mathsf{H}(h'') \}$ 给出，其中 $\psi$ 为 $t=0$ 时初始自由能的极限。
• 在 $\psi$ 的 $C^1$ 正则性与 $F_N$ 的局部一致集中性假设下，极限自由能是具有初始条件 $\psi(h)$ 的哈密顿-雅可比方程的唯一粘性解。
• 互信息 $I(X,Y)$ 渐近等于 $\mathbb{E}[F_N^\circ(t)]$，其收敛至与 $F_N(t,0)$ 相同的变分表达式，从而可确定恢复的信息论阈值。
• 该结果适用于广泛模型类，包括突触威格纳、威尔克斯、随机块模型及高阶张量推理模型，均为一般张量积模型的特例。
• 证明依赖于自由能的凸性与次微分分析以验证粘性解条件，$\psi$ 的 $C^1$ 假设在一般情形下对唯一性至关重要。
• 在 $\overline{F}_N$ 关于 $N$ 一致利普希茨的附加假设下，收敛性可提升为局部一致收敛，该条件在许多自然模型中成立。