決策樹空間與隨機森林的 MCMC 採樣

隨機森林是通過僅隨機選擇某些特徵來構建每棵樹（有時對訓練數據進行裝袋）而形成的決策樹的集合。顯然，他們學習和概括都很好。有沒有人對決策樹空間進行 MCMC 採樣或將它們與隨機森林進行比較？我知道運行 MCMC 並保存所有採樣樹的計算成本可能更高，但我對這個模型的理論特徵感興趣，而不是計算成本。我的意思是這樣的：

1. 構建一個隨機決策樹（它可能會執行得很糟糕）
2. 用類似的東西計算樹的可能性，或者添加一個學期。
3. 選擇一個隨機步驟來改變樹並根據可能性進行選擇.
4. 每 N 步，保存一份當前樹的副本
5. 回到 3 進行一些大的 N*M 次
6. 使用 M 個保存的樹的集合進行預測

這會給隨機森林帶來類似的性能嗎？請注意，與隨機森林不同，我們不會在任何步驟丟棄好的數據或特徵。

這是大約 13 年前由Chapman、George 和 McCulloch (1998, JASA)完成的。當然，有大量關於貝葉斯回歸樹的文獻就是從這個想法發展而來的。

引用自：https://stats.stackexchange.com/questions/14770