[论文解读] On Maximal Correlation, Hypercontractivity, and the Data Processing Inequality studied by Erkip and Cover

Venkat Anantharam, Gohari, Amin+2 more|arXiv (Cornell University)|Apr 22, 2013

Point processes and geometric inequalities参考文献 15被引用 103

一句话总结

本文通过函数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 的 Hessian 矩阵与凸包络，提出了对 Hirschfeld-Gebelein-Rényi 最大相关性以及超收缩性带在无穷远处的弦斜率的新几何表征。该文纠正了 Erkip 和 Cover 提出的有缺陷的数据处理不等式，证明紧致常数应为 $ s^*(X;Y) $，而非 $ \rho_m^2(X;Y) $，并通过凸性分析建立了 $ s^*(X;Y) $ 的张量积性质。

ABSTRACT

In this paper we provide a new geometric characterization of the Hirschfeld-Gebelein-Rényi maximal correlation of a pair of random $(X,Y)$, as well as of the chordal slope of the nontrivial boundary of the hypercontractivity ribbon of $(X,Y)$ at infinity. The new characterizations lead to simple proofs for some of the known facts about these quantities. We also provide a counterexample to a data processing inequality claimed by Erkip and Cover, and find the correct tight constant for this kind of inequality.

研究动机与目标

• 提供最大相关性 $ \rho_m(X;Y) $ 与超收缩性带在无穷远处的弦斜率 $ s^*(X;Y) $ 的新几何表征。
• 纠正 Erkip 和 Cover 所声称的有缺陷的数据处理不等式，该不等式错误地将 $ \rho_m^2(X;Y) $ 作为紧致常数。
• 确立 $ s^*(X;Y) $ 而非 $ \rho_m^2(X;Y) $ 是马尔可夫链 $ U-X-Y $ 下不等式 $ I(U;Y) \leq \lambda I(U;X) $ 的正确紧致常数。
• 通过函数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 的凸性与下凸包络分析，证明 $ s^*(X;Y) $ 具有张量积性质。

提出的方法

• 将 $ \rho_m^2(X;Y) $ 表征为使得 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 在 $ p(x) $ 处 Hessian 矩阵为半正定的最小 $ \lambda $。
• 将 $ s^*(X;Y) $ 表征为使得 $ t_\lambda(X) $ 在 $ p(x) $ 处与其中的下凸包络 $ K[t_\lambda](X) $ 相等的最小 $ \lambda $。
• 利用函数 $ t_\lambda(X) $ 分析微分熵差的凸性性质，推导出最大相关性与超收缩性的几何条件。
• 通过构造特定信道与输入分布的反例，证明 Erkip-Cover 不等式不成立，即存在 $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $。
• 通过证明若 $ t_\lambda(X_1) $ 与 $ t_\lambda(X_2) $ 分别在 $ p_1(x_1) $ 与 $ p_2(x_2) $ 处匹配其凸包络，则 $ t_\lambda(X_1,X_2) $ 在 $ p_1(x_1)p_2(x_2) $ 处也匹配其凸包络，从而证明 $ s^*(X;Y) $ 的张量积性质。
• 利用链式法则与马尔可夫链性质，推导涉及条件熵与相对熵比值的不等式，从而证明 $ s^*(X;Y) $ 的紧致性。

实验结果

研究问题

• RQ1 在马尔可夫链 $ U-X-Y $ 下，数据处理不等式 $ I(U;Y) \leq \lambda I(U;X) $ 的正确紧致常数是什么？
• RQ2 如何通过函数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 的 Hessian 矩阵，几何表征最大相关性 $ \rho_m(X;Y) $？
• RQ3 超收缩性带在无穷远处的弦斜率 $ s^*(X;Y) $ 如何与 $ t_\lambda(X) $ 的凸包络相关联？
• RQ4 为何 Erkip-Cover 不等式 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ 失效？正确的常数是什么？
• RQ5 $ s^*(X;Y) $ 是否具有张量积性质？若成立，如何通过凸性分析与熵分解加以证明？

主要发现

• 最大相关性 $ \rho_m^2(X;Y) $ 是使得 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 在 $ p(x) $ 处 Hessian 矩阵为半正定的最小 $ \lambda $。
• 弦斜率 $ s^*(X;Y) $ 是使得 $ t_\lambda(X) $ 在 $ p(x) $ 处与其中的下凸包络 $ K[t_\lambda](X) $ 相等的最小 $ \lambda $。
• Erkip 和 Cover 所声称的数据处理不等式 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ 是错误的；通过构造反例，证明存在情形下 $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $。
• 该不等式中正确的紧致常数为 $ s^*(X;Y) $，且对所有马尔可夫链 $ U-X-Y $，不等式 $ I(U;Y) \leq s^*(X;Y) I(U;X) $ 恒成立。
• $ s^*(X;Y) $ 具有张量积性质：对于独立对 $ (X_1,Y_1), (X_2,Y_2) $，有 $ s^*(X_1X_2;Y_1Y_2) = \max\{s^*(X_1;Y_1), s^*(X_2;Y_2)\} $。
• 将 $ s^*(X;Y) $ 表征为使得 $ t_\lambda(X) $ 匹配其凸包络的最小 $ \lambda $，可解释为何 $ \rho_m^2(X;Y) $ 不是正确常数，因为其仅对应局部凸性，而非全局凸性。