[论文解读] Mutual information, matroids and extremal dependencies

Emmanuel Abbé|arXiv (Cornell University)|Dec 21, 2010

Advanced Wireless Network Optimization参考文献 8被引用 7

一句话总结

该论文通过证明当且仅当拟阵为二元拟阵时，其秩函数可表示为多址接入信道（MAC）的互信息函数，建立了拟序理论与信息论之间的基本联系。此外，该文表明MAC中整数值的互信息函数对应于线性确定性信道，而通过加性噪声模型，熵拟阵作为MAC拟阵的特例出现，从而统一了信息论与组合数学中的关键概念。

ABSTRACT

In this paper, it is shown that the rank function of a matroid can be represented by a "mutual information function" if and only if the matroid is binary. The mutual information function considered is the one measuring the amount of information between the inputs (binary uniform) and the output of a multiple access channel (MAC). Moreover, it is shown that a MAC whose mutual information function is integer valued is "equivalent" to a linear deterministic MAC, in the sense that it essentially contains at the output no more information than some linear forms of the inputs. These notes put emphasis on the connection between mutual information functionals and rank functions in matroid theory, without assuming prior knowledge on these two subjects. The first section introduces mutual information functionals, the second section introduces basic notions of matroid theory, and the third section connects these two subjects. It is also shown that entropic matroids studied in the literature correspond to specific cases of MAC matroids.

研究动机与目标

• 建立拟阵秩函数与多址接入信道（MAC）中互信息泛函之间的对应关系。
• 表征哪些拟阵可通过互信息函数表示，特别是识别出二元拟阵是唯一此类类。
• 证明具有整数值均匀互信息函数的MAC等价于线性确定性MAC，即输出不包含超过输入线性组合的信息。
• 通过展示在加性噪声下，熵拟阵作为MAC拟阵的特例出现，将熵拟阵与基于MAC的拟阵统一起来。
• 提供一个自包含的导论，将信息度量与拟序理论联系起来，且无需事先掌握任一领域的知识。

提出的方法

• 为具有m个用户的MAC定义互信息函数（MIF），测量在给定互补输入条件下，输入子集与输出之间的互信息。
• 通过假设输入分布为独立同分布的均匀分布，引入均匀互信息函数（UMIF），其在单用户情况下对应标准互信息。
• 利用互信息的链式法则与迭代分解方法，重构所有用户子集的MIF值，利用MAC的结构及输入的独立性。
• 应用Pinsker不等式与马尔可夫不等式，界定条件分布与均匀分布之间的总变差距离，从而实现对低互信息的二元随机变量的近似。
• 通过提出q元可表示拟阵对应于q元MAC的UMIF，将结果推广至q元字母表。
• 证明熵拟阵——基于有限域上随机向量的熵函数定义的拟序——等价于加性噪声模型下特定类别的MAC拟阵。

实验结果

研究问题

• RQ1 在什么条件下，拟阵的秩函数可表示为多址接入信道的互信息函数？
• RQ2 MAC必须具备何种结构特性，才能使其互信息函数在所有用户子集上均为整数值？
• RQ3 通过随机向量的熵函数定义的熵拟阵与基于MAC的拟阵之间有何关联？
• RQ4 具有整数值互信息的MAC与线性确定性信道之间有何联系？
• RQ5 能否通过MAC表示将拟序理论推广至q元字母表？

主要发现

• 当且仅当拟阵为二元拟阵时，其秩函数可表示为多址接入信道的互信息函数。
• 具有整数值均匀互信息函数的MAC等价于线性确定性MAC，即输出不包含超过输入线性组合的信息。
• 具有独立同分布均匀二元输入的MAC的互信息函数满足多秩拟序公理，且当其为整数值时，可诱导出拟阵结构。
• 熵拟阵（作为基于有限域上随机向量熵函数的多秩拟序）是加性噪声模型下MAC拟阵的一个特例。
• 对于任意具有二元输入的MAC，其互信息函数可通过链式法则与迭代分解方法，完全由其在小规模子集上的取值重构。
• 该理论可推广至q元字母表，其中q元可表示拟阵恰好对应于q元MAC的均匀互信息函数。