為什麼對於不平衡的數據集，PR 曲線被認為比 ROC 曲線更好？
我從多個來源聽說，在類不平衡的數據集上測試分類器時，精確召回曲線被認為比 ROC 曲線更好。 https://www.biostat.wisc.edu/~page/rocpr.pdf https://towardsdatascience.com/what-metrics-should-we-use-on-imbalanced-data-set-precision-recall-roc- e2e79252aeba
如果是這種情況，我希望如果我採用不平衡的數據集並對其重新採樣以使其平衡，它將產生與原始數據集顯著不同的 ROC 曲線。但是根據我的經驗，根據我的實驗或原因，情況並非如此。
任何人都可以向我解釋 ROC 曲線如何成為平衡數據集分類準確度的一個很好的衡量標準，但對於不平衡數據集卻不是，因為兩者的 ROC 曲線似乎基本相同？
在類不平衡的數據集上測試分類器時，精確召回曲線被認為比 ROC 曲線更好。
這種說法是完全錯誤的。
一般來說，像“X 比 Y 好”這樣的陳述應該持保留態度。它通常取決於用例，您的目標是什麼等。但是，上面的陳述比這更錯誤。讓我們來看看。
PR 曲線繪製以下參數：
精度 = TP/(TP+FP)
召回 = TP/(TP+FN)
請注意等式中沒有真陰性 (TN) 嗎？
當正面例子很少時， PR 曲線很有用。如果你的數據集與罕見的負數不平衡，你絕對不應該使用 PR 曲線。
正如您在實驗中註意到的那樣，並且您已經正確推理，ROC 曲線對類不平衡不敏感。這意味著如果您平衡數據（即重新採樣），ROC 曲線不會改變（假設您不重新訓練模型）。 當數據集只包含少量正例時，您需要關心一個新問題：正預測值（= PPV = Precision）。具體來說：給定一個觀察被歸類為正例，它真正為真正例的概率是多少？當積極的例子很少時，這個問題的答案可能會令人驚訝地誤導。
PPV 和 NPV（補充：假設觀察結果是否定的，真陰性的概率是多少）在平衡數據集中通常不是問題，因為它們遵循通常的敏感性和特異性。PPV 和 NPV 僅在不平衡數據集中變得至關重要，因為這兩個度量對類別不平衡很敏感，這與 ROC 曲線不同。因此 ROC 曲線可能會掩蓋 PPV 和 NPV 較差的模型，這在不平衡的情況下可能是一個問題。PR 曲線將立即突出顯示 PPV 較差的模型並完全忽略 NPV。
因此，最終由您決定使用哪種工具。不要因為不平衡就使用 PR 曲線。正面例子很少見嗎？它們在您的樣品中特別罕見嗎？然後堅持使用 ROC 曲線。他們在普通人群中很少見嗎？然後你應該考慮精度並查看 PR 曲線。負面案例很少見嗎？然後堅持ROC曲線。