ROC曲線缺點
在昨天的課上，我們學習了邏輯，隨後又學習了 ROC 曲線以及如何使用它。
我的問題是：
- 這是識別邏輯模型是否最好的最常用方法嗎？如果不是，還有哪些常用的方法？
- 使用 ROC 曲線判斷是否使用模型可能存在哪些弊端？
ROC AUC 具有與統計。這統計量衡量正例排名高於負例的概率。從這個意義上說，ROC AUC 回答了模型如何區分這兩個類別的問題。
具有高辨別力的模型不一定經過良好校準。假設邏輯回歸模型預測陽性概率為 0.52，陰性概率為 0.51。該模型的 AUC 為 1，但概率在識別哪些聲稱的陽性是最高風險的意義上沒有幫助。因為所有的正面都被分配了相同的後驗概率，所以它們不能被區分。
此外，經過良好校準的模型的最大 ROC AUC 將由數據中正負的比率固定。這意味著具有一些非常理想的概率（即其後驗概率與真實概率匹配）的模型對其性能有一個上限，因此未校準的模型可能在 ROC AUC 方面“占主導地位”。
ROC AUC 不會告訴您任何有關不同類型錯誤的成本。例如，如果您試圖檢測欺詐行為，則購買 10,000 美元的不確定來源比購買 10 美元的潛在損失更大。但是 ROC AUC 會將這兩個事件視為具有相同的權重——顯然任何合理的模型都應該能夠區分這兩種類型的錯誤。
ROC AUC 也傾向於以“高 FPR”點為主。**根據應用程序，這些點可能是最不相關的。**考慮使用該模型將高風險交易提交給將進行進一步審查的專家的情況。每單位時間可能只有足夠的人來評估 50 筆交易；由於根據定義，排名最高的交易發生在 ROC 曲線的“左手”大小上，這也是面積最低的區域。因此，通過查看整個 AUC，您可以樂觀地將結果向上傾斜，即 ROC AUC 受到人類將審查的實際觀察結果“右側”的觀察結果的推動。（說明很簡單。在任何 ROC 曲線上在 FPR<0.5 處繪製一條垂直線。所有這些垂直線的左側區域都較高。）為了避免這種情況，有些人使用部分 ROC AUC，這有其自身的一系列問題，其中最主要的是軟件實現傾向於假設您'*在 FPR 的某個值。*但是在你關心頂部的情況下交易，這種做法顯然是錯誤的，因為頂部對於不同的分類器，事務將在不同的 FPR 值下發生。部分 AUC 的標準化（保留 AUC < 0.5 比隨機差的特性，1 是完美的，0 是毫無價值的）會帶來更多的困難。
ROC 曲線本身沒什麼意義。“主導”分類器可以通過 AUC 評估。隨機等價性可以通過等級等價性檢驗來評估。Harrell 教授的評論推動了他工作的一個一致主題，即診斷應該回答的真正問題是風險評估和效用優化之一。檢查 ROC AUC 傾向於鼓勵選擇截斷點，應該避免這種情況，因為它只向決策者提供部分信息。
性能的替代度量（例如對數似然）表徵模型的校準，並且適當的評分規則通常具有鼓勵誠實預測的質量。