Machine-Learning
為什麼有些算法會產生校準的概率
我已經看到一些算法，尤其是線性算法，會產生經過良好校準的概率。
例如，邏輯回歸或多層感知器產生高度校準的概率，而非線性算法（如 SVM、隨機森林或 KNN）則不會。
另一方面，非線性梯度提升樹產生了非常好的校準類概率。
有人可以解釋為什麼使用不同的算法會出現這種情況嗎？提前謝謝了！
校準反映了根據數據的基本分佈預測的類別概率與“真實”概率的匹配程度。因此，學習算法本身的屬性並不能普遍決定結果的校準好壞。相反，它取決於學習算法對特定問題的適用程度。
為了說明這一點，這裡有一個使用高斯樸素貝葉斯分類器的玩具示例。讓我們生成兩個數據集，其中每個類中的點都是從 2D 高斯分佈中採樣的。在第一個數據集中，使用全協方差矩陣生成點。這違反了樸素貝葉斯假設，因為在給定類的情況下，輸入特徵不是條件獨立的。在第二個數據集中，使用對角協方差矩陣生成點。在這種情況下，樸素貝葉斯假設空間實際上包含了真實模型。以下是數據和校準結果：
第一個數據集的校準很差，但在第二個數據集上相當好。這表明校準良好或校準不佳取決於問題，而不是普遍屬性。它還支持這樣一種觀點，即良好校準度與模型與基礎分佈的接近程度有關。
也就是說，這與特定學習算法可能傾向於在現實世界問題上產生校準良好或校準不佳的結果這一概念並不矛盾，這些問題可能具有某些共同特徵。例如，條件獨立性假設不適用於我們關心的許多問題，因此樸素貝葉斯預計會在這些問題上給出校準不佳的結果。
有關概率校準和基準數據集上不同分類器比較的更多信息，請參閱：
Niculescu-Mizil, A. 和 Caruana, R. (2005)。用監督學習預測好的概率。在第 22 屆機器學習國際會議論文集上（第 625-632 頁）。
