[论文解读] Random Forests: some methodological insights

Robin Genuer, Jean‐Michel Poggi+1 more|ArXiv.org|Nov 21, 2008

Neural Networks and Applications参考文献 37被引用 147

一句话总结

本文從方法論角度探討隨機森林，聚焦變數重要性估計與兩階段變數選擇策略：先依重要性分數排序變數，再依序逐步加入。研究確認標準與高維問題的最適參數設定，並證明變數重要性指標能可靠識別相關預測變數，特別是結合順序性特徵引入法可進一步提升預測表現。

ABSTRACT

This paper examines from an experimental perspective random forests, the increasingly used statistical method for classification and regression problems introduced by Leo Breiman in 2001. It first aims at confirming, known but sparse, advice for using random forests and at proposing some complementary remarks for both standard problems as well as high dimensional ones for which the number of variables hugely exceeds the sample size. But the main contribution of this paper is twofold: to provide some insights about the behavior of the variable importance index based on random forests and in addition, to propose to investigate two classical issues of variable selection. The first one is to find important variables for interpretation and the second one is more restrictive and try to design a good prediction model. The strategy involves a ranking of explanatory variables using the random forests score of importance and a stepwise ascending variable introduction strategy.

研究动机与目标

• 驗證並擴展隨機森林參數調校的實務指南，適用於標準（n >> p）與高維（n << p）設定。
• 探討隨機森林變數重要性（VI）指標在識別相關預測變數時的行為與可靠性。
• 提出並評估兩階段變數選擇策略：依VI分數排序變數，再依序逐步加入，以達成最佳預測表現。
• 兼顧變數選擇的雙重目標：解讀性（識別重要變數）與預測性（建構最小且有效的模型）。

提出的方法

• 研究使用 R 套件 mlbench 中的基準資料集，包含分類、多類別與迴歸問題的真實與模擬資料。
• 評估不同 mtry 值與樣本大小下隨機森林的表現，聚焦於預測誤差與變數重要性分數。
• 變數重要性採用袋外（OOB）誤差減少法計算，此為隨機森林中的標準方法，用以排序預測變數。
• 應用逐步依序加入變數的策略：依重要性高低排序，依序加入變數，直至預測表現達穩定。
• 該方法在標準與高維資料集上進行測試，包含 p >> n 的基因表現資料。
• 統計表現透過預測誤差（迴歸問題採均方誤差，分類問題採錯誤分類率）與變數選擇準確度進行評估。

实验结果

研究问题

• RQ1 標準隨機森林參數設定（如 mtry）在不同資料型態（n >> p 與 n << p）下如何影響表現？
• RQ2 隨機森林變數重要性指標在識別真正相關預測變數方面有多可靠，特別是在高維設定下？
• RQ3 兩階段變數選擇策略（依重要性排序後再依序加入）是否能提升預測準確度，同時維持可解釋性？
• RQ4 變數重要性指標在不同類型資料（二元、多類別、迴歸）與不同雜訊水準下是否表現一致？

主要发现

• 在隨機森林中，變數重要性指標即使在高維設定（如 p >> n 的基因表現資料）下，亦能穩定地將最相關變數排在最前。
• 對於高維問題，僅需使用最優排序的少數變數子集，即可達成良好的預測表現，證實基於重要性的選擇策略具實用價值。
• 根據重要性分數逐步依序加入變數，可帶來穩定且提升的預測表現，特別是搭配最適 mtry 值時效果更顯著。
• 研究確認 mtry 值約為 √p 或 p/3（依問題類型而定）時，可在多樣資料集中達成穩健表現，支持既有的經驗法則建議。
• 在多類別與迴歸問題中，變數重要性指標成功識別出最具預測力的特徵，且在多次執行與不同資料集間表現一致。
• 即使預測變數數量遠大於觀測數量，基於 OOB 误差的變數重要性衡量方法仍具可靠性，支持其在高維特徵選擇中的應用。