[论文解读] Translation and modern interpretation of Laplace's Théorie Analytique des Probabilités, pages 505-512, 516-520

Julien Langou|ArXiv.org|Jul 27, 2009

Probability and Statistical Research参考文献 4被引用 11

一句话总结

本文翻譯並詮釋了拉普拉斯於1820年關於天體力學中機率誤差分析的論著，揭示其用於線性模型中計算變異數的演算法，早於現代數值方法。拉普拉斯的方法——使用連續正交投影與喬列斯基分解——對應於反向無平方根修正式葛謨-史密斯與喬列斯基演算法，即使在法方程條件數不佳的情況下，也能以高準確度估算木星與土星質量的誤差。

ABSTRACT

The text of Laplace, extit{Sur l'application du calcul des probabilités à la philosophie naturelle,} (Théorie Analytique des Probabilités. Troisième Édition. Premier Supplément), 1820, is quoted in the context of the Gram-Schmidt algorithm. We provide an English translation of Laplace's manuscript (originally in French) and interpret the algorithms of Laplace in a contemporary context. The two algorithms given by Laplace computes the mean and the variance of two components of the solution of a linear statistical model. The first algorithm can be interpreted as {\em reverse square-root-free modified Gram-Schmidt by row} algorithm on the regression matrix. The second algorithm can be interpreted as the {\em reverse square-root-free Cholesky} algorithm.

研究动机与目标

• 翻譯並 contextualize 拉普拉斯原始法文手稿中關於天體力學中機率誤差分析的內容。
• 證明拉普拉斯用於估計線性模型中標準誤差的計算方法，預示了現代數值演算法。
• 展示拉普拉斯如何利用正交投影與法方程矩陣的喬列斯基分解來計算模型參數的變異數。
• 透過與現代64位元算術計算結果比較，驗證拉普拉斯的結果。
• 以常態分配與行星質量估計的誤差界，詮釋拉普拉斯的信賴區間。

提出的方法

• 翻譯《分析概率論》第三版第505–512頁、第516–520頁共13頁的拉普拉斯原始法文文本。
• 將拉普拉斯的序列正交投影方法詮釋為對回歸矩陣以列為單位應用之反向無平方根修正式葛謨-史密斯演算法的等價形式。
• 重構拉普拉斯對法方程矩陣進行的喬列斯基分解，作為計算殘差範數與標準誤差的方法。
• 使用現代算術逐步重現拉普拉斯的數值計算，以驗證其準確性。
• 利用精確度（poids）與標準差之間的關係 $ P = 10^{\text{poids}} $ 來計算誤差界。
• 透過比較拉普拉斯的數值與 $ (\mathbf{A}^T\mathbf{A})^{-1} $ 的64位元浮點數計算結果，驗證其結果。

实验结果

研究问题

• RQ1 拉普拉斯在矩陣分解正式發展之前，如何計算線性模型中參數標準誤差？
• RQ2 拉普拉斯的演算法與現代數值方法（如修正式葛謨-史密斯與喬列斯基分解）的對應程度為何？
• RQ3 在法方程條件數不佳的情況下，拉普拉斯對木星與土星質量變異數的估計有多準確？
• RQ4 拉普拉斯使用「poids」（精確度）構建行星質量估計信賴區間的意義為何？
• RQ5 法方程矩陣的對角線縮放如何提升拉普拉斯計算中的數值穩定性？

主要发现

• 拉普拉斯用以計算參數標準差的方法，對應於對回歸矩陣應用之反向無平方根修正式葛謨-史密斯演算法。
• 拉普拉斯對法方程矩陣進行喬列斯基分解後的最後一個對角項，等於投影觀測向量的範數，此即所關注參數的標準誤差。
• 拉普拉斯計算的 $ z $（天王星質量參數）標準差為 $ \sigma_z = 0.0706 $，與現代64位元計算結果 $ \sigma_z = 0.0707 $ 相符。
• 對於 $ z' $（木星質量參數），拉普拉斯估計的 $ \sigma_{z'} = 0.002044343 $，與64位元結果 $ \sigma_{z'} = 0.002044348 $ 的差異僅在 $ 5 \times 10^{-9} $ 內。
• 儘管條件數超過 $ >10^8 $，對角線縮放使 $ \mathbf{S} (\mathbf{A}^T\mathbf{A}) \mathbf{S} $ 的條件數降至104，顯示縮放後具備數值穩定性。
• 拉普拉斯聲稱，$ z $ 的真實值落在其計算值 $ \pm 1/4 $ 內的機率為1/2,509，而 $ z' $ 的機率為 $ \pm 1/100 $ 內的機率為1/1,000,000，此基於常態分配與其精確度參數 $ P $。