Classification
在隨機森林中使用 LASSO
我想使用以下過程創建一個隨機森林：
- 使用信息增益在數據和特徵的隨機樣本上構建樹以確定拆分
- 如果葉節點超過預定義的深度，則終止葉節點，或者任何拆分都會導致葉數小於預定義的最小值
- 不是為每棵樹分配一個類標籤，而是分配葉節點中類的比例
- 在構建了預定義的數量後停止構建樹
這以兩種方式顛覆了傳統的隨機森林過程。一，它使用分配比例而不是類標籤的修剪樹。第二，停止標準是預定數量的樹，而不是一些袋外錯誤估計。
我的問題是這樣的：
對於上述輸出 N 棵樹的過程，我可以使用帶 LASSO 選擇的*邏輯回歸擬合模型嗎？*有沒有人有使用邏輯 LASSO 擬合隨機森林分類器和後處理的經驗？
ISLE 框架提到使用 LASSO 作為回歸問題的後處理步驟，而不是分類問題。此外，在谷歌搜索“隨機森林套索”時，我沒有得到任何有用的結果。
這聽起來有點像梯度樹提升。boosting的思想是找到一類模型的最佳線性組合。如果我們將一棵樹擬合到數據中，我們試圖找到最能解釋結果變量的樹。如果我們改為使用提升，我們試圖找到樹的最佳線性組合。
然而，使用 boosting 我們效率更高一些，因為我們沒有隨機樹的集合，但是我們嘗試構建新的樹來處理我們還不能很好預測的示例。
有關這方面的更多信息，我建議閱讀統計學習要素的第 10 章：http: //statweb.stanford.edu/~tibs/ElemStatLearn/
雖然這不是您問題的完整答案，但我希望它有所幫助。