XGBoost 與梯度提昇機

對於分類問題（假設損失函數是負二項似然），梯度提升（GBM）算法計算殘差（負梯度），然後使用均方誤差（MSE）作為分裂的回歸樹來擬合它們標準。這與 XGBoost 算法有何不同？

XGBoost 是否利用回歸樹來擬合負梯度？GBM 和 XGBoost 之間的唯一區別是正則化項還是 XGBoost 使用另一個拆分標準來確定回歸樹的區域？

@jbowman 有正確的答案：XGBoost 是 GBM 的一種特殊實現。

GBM 是一種算法，您可以在Greedy Function Approximation: A Gradient Boosting Machine中找到詳細信息。

XGBoost 是 GBM 的實現，您可以在 GBM 中配置要使用的基礎學習器。它可以是一棵樹、樹樁或其他模型，甚至是線性模型。

這是在 XGBoost 中使用線性模型作為基礎學習的示例。

線性基礎學習器如何在 boosting 中發揮作用？它在 xgboost 庫中是如何工作的？

引用自：https://stats.stackexchange.com/questions/331221