[论文解读] Quantifying Concordance

Sebastian Seehars, S. Grandis+2 more|arXiv (Cornell University)|Oct 28, 2015

Statistical Mechanics and Entropy被引用 1

一句话总结

本文重新审视了 Surprise——一种基于后验分布之间相对熵的符合度度量——作为一种稳健的信息论度量，用于量化宇宙学数据集之间的一致性。结果表明，由于功率谱振幅的偏移，WMAP 9 与 Planck 13 之间存在显著张力（17.6 比特，99.8% 置信水平），但 WMAP 9 与 Planck 15 之间无张力（−5.1 比特），凸显了该方法对数据更新的敏感性。

ABSTRACT

Quantifying the concordance between different cosmological experiments is important for testing the validity of theoretical models and systematics in the observations. In earlier work, we thus proposed the Surprise, a concordance measure derived from the relative entropy between posterior distributions. We revisit the properties of the Surprise and describe how it provides a general, versatile, and robust measure for the agreement between datasets. We also compare it to other measures of concordance that have been proposed for cosmology. As an application, we extend our earlier analysis and use the Surprise to quantify the agreement between WMAP 9, Planck 13 and Planck 15 constraints on the $\Lambda$CDM model. Using a principle component analysis in parameter space, we find that the large Surprise between WMAP 9 and Planck 13 (S = 17.6 bits, implying a deviation from consistency at 99.8% confidence) is due to a shift along a direction that is dominated by the amplitude of the power spectrum. The Planck 15 constraints deviate from the Planck 13 results (S = 56.3 bits), primarily due to a shift in the same direction. The Surprise between WMAP and Planck consequently disappears when moving to Planck 15 (S = -5.1 bits). This means that, unlike Planck 13, Planck 15 is not in tension with WMAP 9. These results illustrate the advantages of the relative entropy and the Surprise for quantifying the disagreement between cosmological experiments and more generally as an information metric for cosmology.

研究动机与目标

• 评估并改进 Surprise 作为宇宙学数据集之间一致性的一般性、稳健度量的潜力。
• 应对日益增长的需求：需要定量、信息论的度量方法，以评估日益精确的宇宙学实验之间的一致性。
• 探究主要宇宙学数据集（如 WMAP 与 Planck）之间的差异在统计上是否显著，并可归因于特定参数方向。
• 将 Surprise 与其他现有宇宙学符合度度量进行比较，确立其在通用性和可解释性方面的优势。

提出的方法

• Surprise 定义为两个数据集后验分布之间的相对熵（Kullback-Leibler 散度），量化从一个后验更新到另一个后验时的信息增益。
• 该方法利用参数空间的主成分分析（PCA），识别数据集之间不一致的主要方向。
• Surprise 以比特为单位进行解释，支持概率解释：值越高，表示在给定置信水平下不一致程度越大。
• 该方法应用于 WMAP 9、Planck 13 和 Planck 15 对 ΛCDM 模型的约束，使用其后验分布。
• PCA 分解分离出参数空间中导致观测不一致的方向——主要为功率谱振幅方向。
• 该方法允许对数据集兼容性进行系统性、模型无关的评估，无需依赖频率学 p 值或卡方统计量。

实验结果

研究问题

• RQ1 Surprise 度量在稳健性和可解释性方面与宇宙学中其他符合度度量相比如何？
• RQ2 WMAP 9 与 Planck 13 之间的张力在多大程度上具有统计显著性？其不一致的主要参数方向是什么？
• RQ3 包含更新的 Planck 15 数据后，其与 WMAP 9 的一致性如何变化？这对宇宙学张力的稳健性有何启示？
• RQ4 基于相对熵的 Surprise 是否能有效隔离高维参数空间中数据集之间不一致的主要来源？

主要发现

• WMAP 9 与 Planck 13 之间的 Surprise 为 17.6 比特，表明在 99.8% 置信水平下存在显著不一致，凸显了显著张力。
• 不一致的主要来源位于主成分分析揭示的以功率谱振幅为主导的方向上。
• Planck 13 与 Planck 15 之间的 Surprise 为 56.3 比特，表明后验分布发生显著变化，主要沿同一功率谱振幅方向。
• WMAP 9 与 Planck 15 之间的 Surprise 为 −5.1 比特，表明无显著张力，暗示 Planck 15 与 WMAP 9 一致。
• 基于相对熵的 Surprise 提供了一种通用且稳健的信息度量，能够以清晰的概率解释方式量化数据集之间的不一致。
• 结果表明，Surprise 对数据更新敏感，当新数据引入时可化解表面张力，相较于传统统计检验提供了更细致的视角。