[论文解读] Validation of internal rating systems and PD estimates

Dirk Tasche|arXiv (Cornell University)|Jun 7, 2006

Credit Risk and Financial Regulations参考文献 4被引用 18

一句话总结

本文針對巴塞爾II下內部評級體系與違約機率（PD）估計，提出統計驗證技術，著重於校準、區分能力與單調性。提出一種常態近似檢定法，用於無條件PD校準，避免橫斷面獨立性假設，但短時間序列（例如5至10年）下檢定效能有限，如蒙地卡羅模擬所示，當真實PD為2.5%、估計PD為2%時，顯著水準α=1%與α=10%下的拒絕率分別為19.6%與30.1%。

ABSTRACT

This paper elaborates on the validation requirements for rating systems and probabilities of default (PDs) which were introduced with the New Capital Standards (Basel II). We start in Section 2 with some introductory remarks on the topics and approaches that will be discussed later on. Then we have a view on the developments in banking regulation that have enforced the interest of the public in validation techniques. When doing so, we put the main emphasis on the issues with quantitative validation. The techniques discussed here could be used in order to meet the quantitative regulatory requirements. However, their appropriateness will depend on the specific conditions under which they are applied. In order to have a common ground for the description of the different techniques, we introduce in Section 3 a theoretical framework that will be the basis for the further considerations. Intuitively, a good rating system should show higher probabilities of default for the less creditworthy rating grades. Therefore, in Section 4, we discuss how this monotonicity property is reflected in the theoretical framework from Section 3. In Section 5, we study the meaning of discriminatory power and some tools for measuring it in some detail. We will see that there are tools that might be more appropriate than others for the purpose of regulatory validation of discriminatory power. The topic in Section 6 is calibration of rating systems. We introduce some of the tests that can be used for checking correct calibration and discuss the properties of the different tests. We then conclude in Section 7 with some comments on the question which tools might be most appropriate for quantitative validation of rating systems and probabilities of default.

研究动机与目标

• 提供符合監管要求之內部評級體系與巴塞爾II下PD估計驗證框架。
• 評估校準統計檢定之適用性，特別是在時間序列資料有限之情況下。
• 評估驗證工具（如準確度比率與ROC曲線下方面積）在區分能力方面之表現。
• 檢驗校準檢定在獨立性與常態近似假設下的穩健性。
• 協助銀行與監管機構選擇適當之內部評級與PD估計驗證方法。

提出的方法

• 基於無條件PD估計與時間序列違約資料之理論架構，評估校準情形。
• 應用常態近似檢定法，檢驗平均年度違約率是否滿足真實PD ≤ 估計PD，且無需假設橫斷面獨立性。
• 利用平均違約率之標準誤，於正確校準之虛無假設下建構檢定統計量。
• 使用蒙地卡羅模擬，時間長度T=5與T=10年，評估常態近似檢定之第一類錯誤機率與檢定效能。
• 將常態檢定與傳統方法（如二項分配、Hosmer-Lemeshow與Spiegelhalter檢定）比較，後者依賴較強的獨立性假設。
• 利用準確度比率與ROC曲線下方面積評估區分能力，此兩項指標廣泛內建於統計軟體中。

实验结果

研究问题

• RQ1 在時間序列資料有限之情況下，如何驗證內部評級體系對PD估計之正確校準？
• RQ2 當不假設橫斷面獨立性時，PD校準之常態近似檢定之統計性質與穩健性為何？
• RQ3 當時間序列較短（例如5年）時，常態近似檢定之檢定效能與傳統檢定（如二項分配或Hosmer-Lemeshow）相比如何？
• RQ4 在監管脈絡中，衡量評級體系區分能力之最適指標為何？
• RQ5 標準校準檢定中之獨立性假設，對驗證結果有效性之影響程度為何？

主要发现

• PD校準之常態近似檢定無需假設年度內借款者之間之橫斷面獨立性，因此比傳統檢定更具彈性。
• 該檢定維持合理之第一類錯誤控制，但於短時間序列下檢定效能有限：當真實PD為2.5%、估計PD為2%時，5年期間之拒絕率分別為19.6%（α=1%）與30.1%（α=10%）。
• 該檢定對弱時間相依性仍具相當穩健性，但於極短時間序列（如T=5）時效能明顯下降。
• 傳統檢定（如二項分配、Hosmer-Lemeshow與Spiegelhalter）雖具高檢定效能，但嚴重依賴獨立性假設，實務中可能不成立。
• 由於其統計性質明確且廣泛內建於標準軟體中，建議使用準確度比率與ROC曲線下方面積來衡量區分能力。
• 實務中常見結合統計模型與專家覆核之混合模型，但驗證仍須確保PD估計之正確校準與單調性。