F1/骰子分數與 IoU
我對 F1 分數、骰子分數和 IoU（聯合交叉）之間的差異感到困惑。到目前為止，我發現 F1 和 Dice 的含義相同（對嗎？），而 IoU 的公式與其他兩個非常相似。
- F1 / 骰子：
- 欠條/杰卡德：
除了 F1 對真陽性的權重更高之外，是否有任何實際差異或其他值得注意的事情？有沒有一種情況我會使用其中一種而不是另一種？
你在正確的軌道上。
所以有幾件事情馬上就完成了。根據這兩個指標的定義，我們得到 IoU 和 F 分數總是在 2 倍以內：
並且它們在您期望的條件下（完美匹配和完全不相交）在 1 和 0 的極端處相遇。 另請注意，它們之間的比率可以明確地與 IoU 相關：
因此，當兩個指標都接近零時，該比率接近 1/2。 但是對於分類的典型應用，例如機器學習，可以做出更強有力的陳述。對於任何固定的“基本事實”，這兩個指標總是正相關的。也就是說，如果分類器 A 在一個度量下優於 B，那麼在另一個度量下它也優於分類器 B。
然後很容易得出結論，這兩個指標在功能上是等效的，因此它們之間的選擇是任意的，但不是那麼快！當對一組推論取平均分時，問題就來了。然後，當量化任何給定情況下分類器 B 比 A 差多少時，差異就出現了。
一般來說，IoU 指標傾向於在數量上比 F 分數更傾向於懲罰錯誤分類的單個實例，即使它們都同意這個實例是錯誤的。與 L2 比 L1 懲罰最大錯誤的方式類似，IoU 指標傾向於對相對於 F 分數的錯誤產生“平方”效應。因此，F 分數傾向於衡量更接近平均性能的東西，而 IoU 分數往往衡量更接近最壞情況性能的東西。
例如，假設絕大多數推理使用分類器 A 比使用 B 好，但其中一些推理使用分類器 A 明顯更差。那麼可能的情況是 F 度量有利於分類器 A，而 IoU 度量有利於分類器 A分類器 B。
可以肯定的是，這兩個指標的相似之處多於不同之處。但是，從在許多推論中取這些分數的平均值的角度來看，它們都存在另一個缺點：它們都誇大了具有很少或沒有實際基本真值正集的集合的重要性。在圖像分割的常見示例中，如果圖像只有某個可檢測類別的單個像素，而分類器檢測到該像素和另一個像素，則其 F 得分低至 2/3，IoU 甚至更差為 1/ 2. 像這樣的小錯誤會嚴重影響一組圖像的平均分數。簡而言之，它對每個像素誤差的權重與所選/相關集的大小成反比，而不是平等對待它們。
有一個更簡單的指標可以避免這個問題。只需使用總誤差：FN + FP（例如，5% 的圖像像素被錯誤分類）。在一個比另一個更重要的情況下，可以使用加權平均值：FP +FN。