平均絕對標度誤差 (MASE) 的解釋
平均絕對比例誤差 (MASE) 是Koehler & Hyndman (2006)提出的預測準確度的度量。
在哪裡是實際預測產生的平均絕對誤差；
儘管是由天真的預測產生的平均絕對誤差（例如，綜合預測的無變化預測）時間序列），根據樣本內數據計算。
（查看Koehler & Hyndman (2006)論文以獲得精確的定義和公式。）
意味著在平均絕對誤差方面，樣本外的實際預測比樣本中的天真預測*更差。*因此，如果平均絕對誤差是預測準確性的相關度量（取決於手頭的問題），*建議如果我們期望樣本外數據與樣本內數據非常相似，*則應放棄實際預測以支持幼稚預測（因為我們只知道樣本中的幼稚預測執行得有多好，而不是樣本）。
問題：
在這篇Hyndsight 博客文章中提出的預測競賽中被用作基準。不應該有一個明顯的基準?
當然，這個問題並不特定於特定的預測競爭。我希望在更一般的背景下理解這一點得到一些幫助。
我猜：
我看到的唯一合理的解釋是，一個天真的預測在樣本外的表現比在樣本中的表現要差得多，例如由於結構變化。然後可能太具有挑戰性而無法實現。
參考：
- Hyndman、Rob J. 和 Anne B. Koehler。“再看一下預測準確度的衡量標準。 ” International Journal of Forecasting 22.4 (2006): 679-688。
- Hyndsight 博客文章。
在鏈接的博客文章中，Rob Hyndman 呼籲參加旅遊預測比賽。從本質上講，博客文章旨在引起對相關IJF 文章的關注，該文章的非封閉版本在博客文章中鏈接到。
您所指的基準 - 每月 1.38、季度 1.43 和年度數據 2.28 - 顯然是如下得出的。作者（他們都是專家預測者，並且在IIF中非常活躍——這裡沒有蛇油推銷員）非常有能力應用標準預測算法或預測軟件，他們可能對簡單的 ARIMA 提交不感興趣。所以他們去對他們的數據應用了一些標準方法。對於被邀請在IJF上發表論文的獲獎提交，他們要求它改進這些標準方法中最好的，由 MASE 衡量。
所以你的問題基本上可以歸結為：
鑑於 MASE 為 1 對應的樣本外預測與樣本內的天真隨機遊走預測一樣好（通過 MAD），為什麼像 ARIMA 這樣的標準預測方法不能提高每月數據的 1.38？
此處，1.38 MASE 來自非門控版本的表 4。這是 ARIMA 提前 1-24 個月預測的平均 ASE。其他標準方法，如 ForecastPro、ETS 等，性能更差。
在這裡，答案變得很難。在不考慮數據的情況下判斷預測準確性總是很成問題的。在這種特殊情況下，我能想到的一種可能性可能是加速趨勢。假設您嘗試預測用標準方法。這些都不能捕捉到加速趨勢（這通常是一件好事 - 如果您的預測算法經常模擬加速趨勢，您可能會遠遠超過您的標記），並且它們將產生高於 1 的 MASE。其他解釋可能，正如你所說，是不同的結構性中斷，例如水平變化或 SARS 或 9/11 等外部影響，非因果基準模型無法捕捉到，但可以通過專門的旅遊預測方法進行建模（儘管使用保留樣本中的未來因果關係是一種作弊）。
所以我想說，如果不查看數據本身，您可能無法對此說太多。它們可以在 Kaggle 上找到。您最好的選擇可能是使用這些 518 系列，堅持過去 24 個月，擬合 ARIMA 系列，計算 MASE，挖掘出 10 個或 20 個 MASE 最差預測系列，喝一大壺咖啡，看看這些系列並嘗試找出是什麼讓 ARIMA 模型在預測它們方面如此糟糕。
編輯：另一點在事後看起來很明顯，但我花了五天時間才看到 - 請記住，MASE 的分母是樣本內隨機遊走預測的領先一步，而分子是1-24-的平均值提前預測。預測隨著視野的增加而惡化並不奇怪，因此這可能是 MASE 為 1.38 的另一個原因。請注意，季節性樸素預測也包含在基準中，並且具有更高的 MASE。