[论文解读] When Index Term Probability Violates the Classical Probability Axioms Quantum Probability can be a Necessary Theory for Information Retrieval

Massimo Melucci|arXiv (Cornell University)|Mar 12, 2012

Logic, Reasoning, and Knowledge参考文献 7被引用 3

一句话总结

当信息检索中的索引项概率违反经典概率公理（尤其是全概率定律）时，量子概率（QP）便成为一种必要的理论框架。本文表明，统计不变量的违反表明事件空间不相容，使得经典贝叶斯模型不再适用，并提出QP作为更一般的非经典替代框架，能够对IR系统中的上下文相关、非对易的相关性关系进行建模。

ABSTRACT

Probabilistic models require the notion of event space for defining a probability measure. An event space has a probability measure which ensues the Kolmogorov axioms. However, the probabilities observed from distinct sources, such as that of relevance of documents, may not admit a single event space thus causing some issues. In this article, some results are introduced for ensuring whether the observed prob- abilities of relevance of documents admit a single event space. More- over, an alternative framework of probability is introduced, thus chal- lenging the use of classical probability for ranking documents. Some reflections on the convenience of extending the classical probabilis- tic retrieval toward a more general framework which encompasses the issues are made.

研究动机与目标

• 调查信息检索中观察到的条件概率是否可在一个单一的经典事件空间内进行建模。
• 识别由于事件空间不相容而导致全概率定律（LTP）违反的情况。
• 论证当LTP被违反时，经典概率模型失效，因此需要更一般的理论框架。
• 提出量子概率（QP）作为建模IR中非经典、上下文依赖的相关性关系的必要替代方案。
• 为在IR中使用希尔伯特空间和QP提供理论依据，其基础是经典概率公理的实证违反。

提出的方法

• 引入一个统计不变量（不等式4）作为单一事件空间存在性的充要条件。
• 使用不等式 $\left\|\frac{P_{2}(B)-P_{1}(B|A)}{P_{4}(B|\bar{A})-P_{1}(B|A)}\right\|\leq 1$ 来检验观察到的概率是否能在同一概率空间中共存。
• 将该不变量的违反作为实际中使用多个不相容事件空间的证据。
• 提出量子概率（QP）提供了一个非经典的数学框架，能够对这类非对易、上下文敏感的事件进行建模。
• 将文档和相关性建模为复希尔伯特空间中的向量，其中概率由内积导出（玻恩法则）。
• 将概率检索模型扩展为使用基于QP的概率振幅，从而允许干涉和上下文依赖性，这些是经典模型无法捕捉的。

实验结果

研究问题

• RQ1 在什么条件下，信息检索中观察到的条件概率无法容纳于单一的经典事件空间？
• RQ2 是否可以在检索系统中实证检测并量化全概率定律（LTP）的违反？
• RQ3 当多个不相容的事件空间参与相关性估计时，为何经典贝叶斯概率不再充分？
• RQ4 当经典概率公理被违反时，量子概率是否是建模信息检索的必要框架？
• RQ5 非经典概率模型（如QP）如何更好地表示信息检索中的上下文相关性和非对易相关性关系？

主要发现

• 统计不变量（不等式4）的违反表明，观察到的概率无法从单一事件空间推导得出，从而否定了经典贝叶斯推理的有效性。
• 实证实验表明，违反LTP的术语可显著提升平均平均精度（MAP），这与经典直觉相悖。
• 图1的散点图显示，LTP违反程度与检索有效性提升之间存在强烈相关性。
• 当概率从不同的事件空间中估计时，经典性质如贝叶斯定理和分配律不再成立。
• 量子概率为建模非对易、上下文相关的相关性事件提供了一个数学上一致的框架，而经典概率无法做到这一点。
• 理论结果（包括推论4.1）证实，即使一组完整的概率违反单一空间，其子集仍可被一致建模，从而支持需要广义概率框架的必要性。