[论文解读] Probability Update: Conditioning vs. Cross-Entropy

Adam J. Grove, Joseph Y. Halpern|arXiv (Cornell University)|Feb 6, 2013

Statistical Mechanics and Entropy参考文献 15被引用 28

一句话总结

本文主张，通过条件化进行标准概率更新已足以处理不确定证据，挑战了在范弗拉森的朱迪·本杰明问题等情形中最小化交叉熵的必要性。本文表明，正确应用条件化可得出直观且一致的结果，而交叉熵方法则可能产生反直觉的结论，因此主张重新评估在不确定推理情境中非贝叶斯更新规则的适用性。

ABSTRACT

Conditioning is the generally agreed-upon method for updating probability distributions when one learns that an event is certainly true. But it has been argued that we need other rules, in particular the rule of cross-entropy minimization, to handle updates that involve uncertain information. In this paper we re-examine such a case: van Fraassen's Judy Benjamin problem, which in essence asks how one might update given the value of a conditional probability. We argue that -- contrary to the suggestions in the literature -- it is possible to use simple conditionalization in this case, and thereby obtain answers that agree fully with intuition. This contrasts with proposals such as cross-entropy, which are easier to apply but can give unsatisfactory answers. Based on the lessons from this example, we speculate on some general philosophical issues concerning probability update.

研究动机与目标

• 通过标准概率更新重新表述并解决朱迪·本杰明问题。
• 挑战当前认为在不确定证据更新中必须使用交叉熵最小化的观点。
• 证明当正确应用时，条件化在不确定条件信息情境下可产生直观且一致的结果。
• 为人工智能中概率更新基础的哲学辩论做出贡献。
• 为在不确定证据情境下条件化的充分性提供原则性论证。

提出的方法

• 将标准贝叶斯条件化应用于朱迪·本杰明问题，将不确定的条件视为后验分布的约束。
• 利用全概率公式和一致性约束，从先验和新信息推导出更新后的后验分布。
• 分析问题的结构，表明不确定条件句可被解释为联合分布上的约束。
• 将条件化所得后验与通过交叉熵最小化推导出的结果进行比较。
• 采用逻辑和概率一致性检验，验证条件化结果的一致性。
• 证明条件化结果与问题的直觉推理相一致。

实验结果

研究问题

• RQ1 标准条件化能否在不依赖其他更新规则的情况下处理不确定证据，例如条件概率的取值？
• RQ2 在朱迪·本杰明问题中，交叉熵最小化是否提供比条件化更优或更一致的解决方案？
• RQ3 在不确定信念更新中使用条件化而非交叉熵，其哲学与技术含义是什么？
• RQ4 是否存在一种原则性方法，可将不确定条件句解释为对后验分布的约束？
• RQ5 在何种条件下，条件化无法产生直观结果，而交叉熵成为必要？

主要发现

• 在朱迪·本杰明问题中，对不确定条件句进行条件化，可得到与直观预期一致的后验分布。
• 条件化结果在逻辑上一致，且满足问题的约束，无需额外优化。
• 交叉熵最小化导致的结果与直觉相悖，且不受问题结构的支持。
• 本文表明，在此情形下，非贝叶斯更新规则（如交叉熵）的必要性是无根据的。
• 若正确解释，不确定条件句可被视为对联合分布的约束，从而支持标准条件化。
• 本研究支持条件化在不确定证据情境下仍是适当且充分的信念更新方法的观点。