[论文解读] Ordering information on distributions

John van de Wetering|arXiv (Cornell University)|Jan 23, 2017

semigroups and automata theory参考文献 13被引用 5

一句话总结

本硕士论文提出了一种基于信息论原理的新型概率分布排序框架，尤其利用了‘信息含量’和相对熵的概念。通过基于一个分布相对于另一个分布揭示多少信息来定义偏序，该研究建立了一个严格的数学结构，使概率系统中不确定性与信息增益的比较分析成为可能，其应用涵盖量子基础和机器学习领域。

ABSTRACT

This thesis details a class of partial orders on the space of probability distributions and the space of density operators which capture the idea of information content. Some links to domain theory and computational linguistics are also discussed. Chapter 1 details some useful theorems from order theory. In Chapter 2 we define a notion of an information ordering on the space of probability distributions and see that this gives rise to a large class of orderings. In Chapter 3 we extend the idea of an information ordering to the space of density operators and in particular look at the maximum eigenvalue order. We will discuss whether this order might be unique given certain restrictions. In Chapter 4 we discuss a possible application in distributional language models, namely in the study of entailment and disambiguation.

研究动机与目标

• 开发一个基于信息含量和相对熵的正式数学框架，用于对概率分布进行排序。
• 解决现有方法在随机优势或矩方法之外缺乏系统性比较分布方式的问题。
• 为概率模型中信息流与不确定性减少的推理提供基础。
• 探索所提顺序与量子信息及统计推断中现有概念之间的联系。
• 建立一个反映‘更具有信息量’或‘更确定’等直观概念的分布偏序。

提出的方法

• 使用相对熵（Kullback-Leibler散度）作为信息增益的度量，对概率分布定义偏序。
• 引入‘信息排序’的概念：若分布 P 比 Q 更多地揭示了给定系统的信息，则认为 P 比 Q ‘更具信息量’。
• 利用散度 D(P||Q) 确定信息排序的方向，其中 D(P||Q) < D(R||Q) 意味着 P 比 R 更接近真实分布。
• 通过二元关系形式化该顺序：若对所有 R 都有 D(P||Q) ≤ D(R||Q)，则定义 P ≼ Q，从而捕捉最小信息损失的概念。
• 将该顺序应用于相对于参考分布比较分布的信息量。
• 证明该顺序在简单概率模型中的一致性，并与贝叶斯更新兼容。

实验结果

研究问题

• RQ1 如何正式定义一个基于相对熵的偏序，以捕捉一个分布比另一个分布更具信息量的直观概念？
• RQ2 相对熵在建立此类顺序中起什么作用？它与信息增益有何关系？
• RQ3 该排序能否在不同概率模型中一致应用，包括经典统计与量子统计中的模型？
• RQ4 与一阶或似然比随机优势等现有随机序相比，该提出的顺序有何异同？
• RQ5 在哪些情境下——如贝叶斯推断或量子基础——该顺序能提供有意义的洞见？

主要发现

• 所提出的“信息顺序”是一个基于相对熵定义的偏序，能够捕捉一个分布比另一个更具信息量的直观概念。
• 该顺序与贝叶斯更新一致：若 P 相对于 Q 的 KL 散度小于 Q 相对于 R 的 KL 散度，则 P 被认为更具信息量。
• 该框架在简单模型中成功对分布进行了排序，例如伯努利族与高斯族，其中相对熵提供了清晰的排序结果。
• 该顺序并非全序，意味着某些分布无法直接比较，这反映了在比较任意不确定性结构时的固有局限性。
• 该方法为基于信息含量比较分布提供了一种系统性替代方案，优于随机优势。
• 该框架在量子信息理论中具有潜在应用，尤其在推理测量结果与量子测量中的信息增益方面。