確定估計事件概率的模型的準確性
我正在為具有兩個結果的事件建模，a 和 b。我創建了一個模型來估計 a 或 b 發生的概率（即模型將計算 a 發生的概率為 40%，b 的發生概率為 60%）。
我有大量的試驗結果記錄以及模型的估計值。我想量化模型使用這些數據的準確度——這可能嗎？如果可以，怎麼做？
假設您的模型確實預測 A 有 40% 的機會，而 B 有 60% 的機會。在某些情況下，您可能希望將其轉換為 B 會發生的分類（因為它比 A 更有可能）。一旦轉換為分類，每個預測要么是對的，要么是錯的，並且有許多有趣的方法來統計這些正確和錯誤的答案。一是直接準確性（正確答案的百分比）。其他包括精度和召回率或F-measure。正如其他人所提到的，您可能希望查看ROC 曲線。此外，您的上下文可能會提供一個特定的成本矩陣，該矩陣獎勵真陽性與真陰性不同和/或懲罰假陽性與假陰性不同。
但是，我認為這不是您真正想要的。如果你說 B 有 60% 的發生機率，而我說它有 99% 的發生機率，我們會有非常不同的預測，即使它們都會在簡單的分類系統中映射到 B。如果A發生了，你就有點錯了，而我錯了，所以我希望我會受到比你更嚴厲的懲罰。當您的模型實際產生概率時，評分規則是您的概率預測性能的衡量標準。具體來說，您可能需要一個適當的評分規則，這意味著分數針對經過良好校準的結果進行了優化。
評分規則的一個常見示例是Brier 評分：
在哪裡是事件發生的預測概率，並且如果事件確實發生則為 1，如果沒有發生則為 0。 當然，您選擇的評分規則類型可能取決於您嘗試預測的事件類型。但是，這應該會給您一些進一步研究的想法。
我將添加一個警告，無論您做什麼，在以這種方式評估您的模型時，我建議您查看樣本外數據（即未用於構建模型的數據）的指標。這可以通過交叉驗證來完成。也許更簡單的是，您可以在一個數據集上構建模型，然後在另一個數據集上對其進行評估（注意不要讓來自樣本外的推論溢出到樣本內建模中）。