Least-Squares
平均絕對誤差或均方根誤差？
為什麼使用均方根誤差 (RMSE) 而不是平均絕對誤差 (MAE)？
你好
我一直在調查計算中產生的誤差——我最初將誤差計算為均方根歸一化平方誤差。
仔細觀察，我發現將誤差平方的效果比較小的誤差賦予更大的誤差更大的權重，從而使誤差估計偏向奇數異常值。回想起來，這是非常明顯的。
所以我的問題 - 在什麼情況下，均方根誤差比平均絕對誤差更適合測量誤差？後者似乎更適合我，還是我錯過了什麼？
為了說明這一點，我在下面附上了一個例子：
- 散點圖顯示了兩個具有良好相關性的變量，
- 右側的兩個直方圖使用歸一化 RMSE（頂部）和 MAE（底部）繪製了 Y（觀察到的）和 Y（預測的）之間的誤差。
該數據中沒有明顯的異常值，並且 MAE 給出的誤差低於 RMSE。除了 MAE 更可取之外，是否有任何合理的方法可以使用一種誤差度量而不是另一種？
這取決於您的損失函數。在許多情況下，對離均值較遠的點給予更大的權重是有意義的——也就是說，偏離 10 的情況是偏離 5 的兩倍以上。在這種情況下，RMSE 是一種更合適的誤差度量。
如果 10 點關閉只是 5 點關閉的兩倍，那麼 MAE 更合適。
無論如何，將 RMSE 和 MAE 相互比較是沒有意義的，就像您在倒數第二個句子中所做的那樣（“MAE 給出的錯誤比 RMSE 低”）。由於它們的計算方式，MAE 永遠不會高於 RMSE。它們僅與相同的誤差度量相比才有意義：您可以將方法 1 的 RMSE 與方法 2 的 RMSE 進行比較，或者將方法 1 的 MAE 與方法 2 的 MAE 進行比較，但不能說 MAE 比方法的 RMSE 更好1 因為它更小。