高度不平衡數據的分類/評估指標
我處理欺詐檢測（類似信用評分）問題。因此，欺詐性和非欺詐性觀察之間存在高度不平衡的關係。
http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html很好地概述了不同的分類指標。
Precision and Recall或kappa兩者似乎都是不錯的選擇：證明此類分類器結果的一種方法是將它們與基線分類器的結果進行比較，並證明它們確實比隨機機會預測更好。
據我了解，
kappa這裡可能是更好的選擇，因為考慮了*隨機機會。*從科恩的簡單英語中，我了解到kappa涉及信息增益的概念：[…] 80% 的觀察準確度與 75% 的預期準確度相比 50% […]
因此，我的問題是：
- 假設它
kappa是更適合這個問題的分類指標是否正確？- 簡單地使用是否可以
kappa防止不平衡對分類算法的負面影響？是否仍然需要重新（向下/向上）採樣或基於成本的學習（參見http://www.icmc.usp.br/~mcmonard/public/laptec2002.pdf）？
是的，您對 Kappa 的假設似乎是正確的。Kappa 作為單一的標量指標主要是優於其他單一的標量指標（如準確性），它不會反映較小類的預測性能（被任何更大類的性能所掩蓋）。正如您所指出的，Kappa 更優雅地解決了這個問題。
使用像 Kappa 這樣的指標來衡量你的表現並不一定會增加你的模型對數據的擬合程度。您可以使用許多指標來衡量任何模型的性能，但是模型如何擬合數據是使用其他參數（例如超參數）來確定的。因此，您可以使用例如 Kappa 為您非常不平衡的問題選擇最適合的模型類型和超參數化 - 但僅計算 Kappa 本身不會改變您的模型如何適合您的不平衡數據。
對於不同的指標：除了 Kappa 和準確率/召回率，還要看一下真陽性率和真陰性率 TPR/TNR，以及 ROC 曲線和曲線下面積 AUC。其中哪些對您的問題有用將主要取決於您的目標的細節。例如，TPR/TNR 和精確度/召回率中反映的不同信息：您的目標是實際檢測到高比例的欺詐行為，高比例的合法交易被檢測到，和/或最小化比例所有警報中的誤報（您自然會因此類問題“大量”出現）？
對於上/下採樣：我認為“如果需要這些”沒有規範的答案。它們更多是解決您的問題的一種方式。從技術上講：是的，您可以使用它們，但要小心使用它們，尤其是上採樣（您最終可能會在沒有註意到的情況下創建不切實際的樣本） - 並註意將這兩個類別的樣本頻率更改為“在野外”不現實的東西" 也可能對預測性能產生負面影響。至少最終的、保留的測試集應該再次反映樣本的真實頻率。底線：我已經看到兩種情況，做和不做上採樣/下採樣會導致更好的最終結果，所以這是你可能需要嘗試的東西（但不要操縱你的測試集！） .