（為什麼）絕對損失不是正確的計分規則嗎？
Brier score 是一個合適的評分規則，至少在二元分類的情況下是平方損失。
Brier(y,ˆy)=1NN∑i=1|yi−ˆyi|2
在Cross Validated 的另一篇文章中，提到絕對損失不是正確的評分規則。
absoluteLoss(y,ˆy)=1NN∑i=1|yi−ˆyi|
它似乎與 Brier 評分非常相似，應該是一個正確的評分規則。
- 為什麼絕對損失不是正確的評分規則？
- 當有兩個以上的輸出類別時，絕對損失是否是二進制分類情況下失去其“適當性”的適當評分規則？
- 當有兩個以上的課程時，是否可以像 Brier 分數那樣處理絕對損失以獲得適當的形式？
至少在二元情況下，絕對損失比 Brier 分數或 Brier 分數的平方根更容易解釋，因為它表示預測概率與觀察到的結果不同的平均量，所以我想有一種方法絕對損失是適當的。
讓我們首先確保我們就定義達成一致。考慮一個二元隨機變量 Y∼Ber(p) ，並考慮損失函數 L(yi|s) ， 在哪裡 s 是一個估計 p 給定數據。在你的例子中， s 是觀測數據的函數 y1,…,yn 和 s=ˆp . Brier 得分損失函數為 Lb(yi,s)=|yi−s|2 , 絕對損失函數為 La(yi|s)=|yi−s| . 損失函數具有預期損失 EY(L(Y|s)):=R(p|s) . 如果預期損失，則損失函數是正確的得分規則 R(p|s) 相對於最小化 s 通過設置 s=p 對於任何 p∈(0,1) .
驗證這一點的一個方便技巧是使用 Y ，至於任何預期損失，我們有 R(p|s)=pL(1|s)+(1−p)L(0|s)
讓我們首先驗證 Bier 損失函數是否是正確的得分規則。注意 Lb(1|s)=|1−s|2=(1−s)2 ， 和 Lb(0|s)=s2 ，所以使用上面的，我們有 Rb(p|s)=p(1−s)2+(1−p)s2
並對該函數求導 s 並設置為 0 會給你選擇 s=p 最小化預期風險。所以 Brier 分數確實是一個適當的分數規則。
相反，回想一下二元性質 Y ，我們可以寫出絕對損失 La 作為 La(y|s)=y(1−s)+(1−y)s
作為 y∈0,1 . 因此，我們有 Ra(p|s)=p(1−s)+(1−p)s=p+s−2ps很遺憾， Ra(p|s) 不會被最小化 s=p ，並且通過考慮邊緣情況，您可以證明 Ra(p|s) 被最小化 s=1 什麼時候 p>.5 ，並由 s=0 什麼時候 p<.5 , 並適用於任何選擇 s 什麼時候 p=.5 .
因此，要回答您的問題，絕對損失不是正確的評分規則，並且與輸出類別的數量無關。至於能不能摔跤，我當然想不出辦法……我想這樣的嘗試去想類似的辦法，很可能會把你引向 Brier 分數 :)。
編輯：
針對 OP 的評論，請注意絕對損失方法基本上是估計 Y ，在二進制情況下是預期的 0 或者 1 根據 p . 絕對損失並沒有對替代選擇造成足夠的懲罰，以至於您想要選擇除了顯示最多的值之外的任何東西。相反，平方誤差對備選方案的懲罰足以找到與均值一致的中間立場 p . 這也應該強調使用絕對損失作為分類器沒有任何問題，並且您可以認為它與確定給定問題有關，如果您更關心平均值或中位數。對於二進制數據，我個人認為平均值更有趣（知道中位數可以告訴您 p > .5，但知道平均值可以告訴您更精確的陳述 p )，但這取決於。正如另一篇文章也強調的那樣，絕對損失沒有錯，它只是不是一個正確的分數規則。