Cart
決策樹的損失/成本函數是什麼？
在決策樹中，使用分裂準則方法，例如信息增益來分裂當前樹節點以構建決策樹，但在許多機器學習問題中，通常需要最小化成本/損失函數以獲得最佳參數。
我的問題是如何定義決策樹的這種成本函數？
我認為它有助於區分訓練指標和評估指標，以及全局訓練指標和本地訓練指標。當我們談論評估指標時，正如@AlvaroFuentes 所說，總是可以為決策樹定義損失函數，就像任何其他模型一樣。在訓練中，確實經常會選擇一個全局指標，並且訓練會嘗試在該指標上進行優化*。但訓練不一定要這樣，在決策樹的情況下，訓練通過貪婪搜索進行，每一步都基於本地度量（例如，信息增益或基尼指數）。事實上，即使定義了全局訓練指標（例如似然性），訓練中的每一步仍然是基於一些局部指標（例如似然性梯度）進行評估的，因此在某種意義上是“貪婪的”；只是在這種情況下，本地度量受到全局度量的啟發。
*旁注：此訓練指標通常與評估指標不同，選擇它是因為其更好的數學特性來幫助訓練；例如，可能性、L2 或交叉熵與準確性或 AUC。