是否存在任何（深度）神經網絡顯然無法勝過任何其他方法的監督學習問題？

我看到人們在 SVM 和內核上付出了很多努力，作為機器學習的初學者，它們看起來很有趣。但是，如果我們期望在（深度）神經網絡方面幾乎總是能找到表現出色的解決方案，那麼在這個時代嘗試其他方法的意義是什麼？

這是我對這個主題的限制。

1. 我們只考慮監督學習；回歸和分類。
2. 結果的可讀性不計算在內；只有監督學習問題的準確性才重要。
3. 不考慮計算成本。
4. 我並不是說任何其他方法都沒有用。

這是為什麼有人可能理性地偏愛非 DNN 方法的一個理論和兩個實際原因。

1. Wolpert 和 Macready的無免費午餐定理說

我們將相關結果稱為 NFL 定理，因為它們表明，如果算法在某一類問題上表現良好，那麼它必然會為所有剩餘問題的性能下降而付出代價。

換句話說，沒有任何一種算法可以統治所有這些。你必須進行基準測試。

這裡明顯的反駁是你通常不關心所有可能的問題，而深度學習似乎在人們關心的幾類問題上效果很好*（例如，對象識別），所以它是一個合理的首選/唯一選擇用於這些領域中的其他應用程序。 2. 許多這些非常深的網絡需要大量數據和大量計算才能適應。如果你有（比如說）500 個例子，一個 20 層的網絡永遠不會學得很好，雖然它可能適合一個更簡單的模型。有許多令人吃驚的問題，收集大量數據是不可行的。另一方面，人們可能會嘗試學習解決相關問題（有更多數據可用），使用諸如遷移學習之類的東西來使其適應特定的低數據可用性任務。 3. 深度神經網絡也可能有不尋常的故障模式。有一些論文表明，人類幾乎無法察覺的變化會導致網絡從正確分類圖像轉變為自信地錯誤分類。（參見此處和Szegedy等人*的隨附論文。）其他方法可能更強大：針對 SVM 的中毒攻擊（例如，Biggio、Nelson 和 Laskov 的這種攻擊），但這些發生在訓練中，而不是測試中時間。在相反的極端，最近鄰算法有已知的（但不是很好的）性能界限。在某些情況下，您可能會因較低的整體性能和較少的災難機會而感到高興。

引用自：https://stats.stackexchange.com/questions/262885