[论文解读] Non-existence of certain kind of finite-letter mutual information characterization for a class of time-invariant Markoff channels

Mukul Agarwal|arXiv (Cornell University)|Apr 16, 2018

DNA and Biological Computing参考文献 4被引用 5

一句话总结

本文证明，对于一类时不变马尔可夫信道——具体而言，是一族记为 $\mathscr{S}_{\lambda}$ 的有限状态机信道（FSMC）——其容量区域的有限字母表征（FLCs）不存在。利用先前研究中的不可判定性结果，并证明：若存在一个可接受的 FLC，则在加法常数范围内的容量近似是可计算的，本文由此表明 $\mathscr{S}_{\lambda}$ 的容量无法通过此类 FLC 表征，揭示了通过具有多项式约束的有限优化问题表达容量的根本局限性。

ABSTRACT

We provide a rigorous definition of a certain kind of characterization for capacity regions of a family of Markoff networks which is based on optimization problems resulting out of calculating conditional mutual information from a finite number of random variables and by constraining these random variables in a certain way. This definition is partly motivated by the definition of single-letter characterizations in information theory. For a point-to-point Markoff channel, we prove that approximating the solution to these characterizations within an additive constant is a computable problem. Based on previous undecidability results concerning capacities of certain class of finite state machine channels (FSMCs), it will follow that there exists an example of family of FSMCs for which given such a characterization, this characterization cannot represent the capacity of this family of FSMCs.

研究动机与目标

• 严格定义一类基于条件互信息和多项式约束的马尔可夫网络容量区域的有限字母表征（FLC）。
• 证明：若某一可接受的 FLC 存在，则在加法常数范围内的容量近似是可计算的。
• 证明：对于特定的 FSMC 家族（$\mathscr{S}_{\lambda}$），由于容量确定本身具有内在不可判定性，因此不存在任何可接受的 FLC。
• 探讨此类 FLC 在无记忆及不可约马尔可夫信道中存在性的更广泛影响。

提出的方法

• 将 FLC 定义为一对结构：包含有限个随机变量上的互信息表达式（表示部分），以及概率分布上的多项式不等式约束（约束部分）。
• 将可接受的 FLC 形式化为：对于类别 $\mathbb{D}$ 中的每一个信道，代入信道参数后，所生成的优化问题的可行域闭包等于该信道的容量区域。
• 利用实闭域的一阶理论的可判定性，证明与 FLC 相关的可行性问题和优化问题均可计算。
• 利用先前的不可判定性结果（Elkouss 等，2018）：对于 $\mathscr{S}_{\lambda}$，判断容量是否 $\leq \lambda/2$ 或 $\geq \lambda$ 是不可判定的。
• 导出矛盾：若存在可接受的 FLC，则容量近似应是可计算的，但不可判定性表明其不可计算，因此此类 FLC 不存在。
• 概述一种潜在证明路径，用于证明在部分状态信息设置下容量近似不可计算，其基础是概率有限自动机中的不可判定性。

实验结果

研究问题

• RQ1 对于一族有限状态机信道 $\mathscr{S}_{\lambda}$，其容量在阈值 $\lambda/2$ 与 $\lambda$ 之间不可判定，是否存在有限字母表征（FLC）？
• RQ2 若某一信道类存在可接受的 FLC，则在加法常数范围内的马尔可夫信道容量近似问题是否可计算？
• RQ3 $\mathscr{S}_{\lambda}$ 中容量确定的不可判定性是否意味着该类中不存在任何可接受的 FLC？
• RQ4 能否将基于 FLC 的容量近似可计算性作为判据，用以排除某些信道族中 FLC 的存在？
• RQ5 是否存在更广泛的马尔可夫信道类（如不可约或无记忆信道），其中可接受的 FLC 可能存在，还是其不存在性也由此被暗示？

主要发现

• 某一类马尔可夫信道的可接受有限字母表征（FLC）意味着：在任意加法 $\epsilon > 0$ 范围内近似容量的问题是可计算的。
• 对于有限状态机信道族 $\mathscr{S}_{\lambda}$，判断容量是否 $\leq \lambda/2$ 或 $\geq \lambda$ 是不可判定的，即不存在任何算法可确定哪一情况成立。
• 由于若存在可接受的 FLC，则 $\epsilon$ 范围内的容量近似是可计算的，但 $\mathscr{S}_{\lambda}$ 中该近似是不可判定的，因此该族中不可能存在任何可接受的 FLC。
• 该证明依赖于实闭域一阶理论的可判定性，以确立基于 FLC 的优化问题的可计算性。
• $\mathscr{S}_{\lambda}$ 中 FLC 的不存在性表明，通过有限个随机变量上多项式约束的有限优化问题表达容量存在根本性局限。
• 本文推测，对于不可约或无记忆马尔可夫信道，可接受的 FLC 可能也不存在，尽管此结论尚未得到证明。