當我在 2002 年開始學習機器學習時，神經網絡正在走出去，支持向量機變得越來越流行。當時我的理解是 SVM 可以做 NNet 可以做的任何事情，並且它們基於更堅實的理論基礎（Vapnik-Chervonenkis 理論）。

現在 NNets 已經用 Deep Neural Nets 捲土重來，似乎沒有人再使用 SVM。

那麼 DNN 能做什麼，而 SVM 不能呢？除了炒作之外，還有什麼理由選擇 DNN 而不是 SVM？

我將列出一些我相當有信心 DNN 比 SVM 表現更好的領域，這不僅僅是“炒作”。我確信還有更多，就像我確信 SVM 在某些地方會做得更好一樣。特別是，我發現很多提出此類問題的人只考慮完全連接的網絡（也稱為前饋網絡，或多層感知器，或人工神經網絡，或……），通常被應用於更標準的“表格”樣式數據。在這些情況下，我沒有看到 DNN 的令人難以置信的結果，如果這是你唯一的體驗，可能很容易相信這只是炒作。

DNN 真正閃耀的地方在於卷積神經網絡，還有它們處理順序數據的能力、生成數據的能力和強化學習（例如學習玩圍棋或 Atari 遊戲）。我將在下面詳細介紹一些。

圖片

DNNS，尤其是卷積神經網絡 (CNN)，是幾乎所有圖像處理任務的最先進技術。我不確定是否有人認真建議 SVM 在 ImageNet、Cifar10 甚至 MNIST 等分類數據集上達到相當的性能。

這對於“密集”圖像預測來說是雙倍的，例如，給定 CT 掃描的 500x500 圖像，準確分類哪些像素是腫瘤（參見U-Net：生物醫學圖像分割的捲積網絡，作者：Olaf Ronneberger、Philipp Fischer、Thomas Brox）該領域的早期作品）。我不確定 SVM 會是什麼樣子。

請注意，雖然圖像是 CNN 的典型子項目，但它們也可以很容易地應用於過去可能使用過信號處理的其他任務，並且根據我的個人經驗，它們已經達到了更好的性能水平。

數據生成

目前有許多數據生成任務是研究領域。例如，使用生成對抗網絡生成新圖像（但在實踐中，它通常僅用作無監督特徵學習）。還有一些有趣的工作正在嘗試生成藝術/音樂（https://magenta.tensorflow.org/）。與密集圖像預測類似，我不確定 SVM 執行此操作會是什麼樣子。也許有人用 SVM 在這個領域做著令人著迷的工作，我不會聲稱自己是這方面的專家，但我的印像是這並沒有發生。

我會注意到數據生成不僅僅是純粹的學術，還有語音合成（想想 Siri、Cortana 或 Google Assistant）以及可能的其他領域。

強化學習

研究人員已經能夠訓練 DNN 來學習如何僅使用原始像素數據和分數作為輸入來玩 Atari 遊戲 ( https://deepmind.com/research/dqn/ )。也許這只是我的經驗不足，但這是我很難用 SVM 實現的壯舉。

引用自：https://stats.stackexchange.com/questions/366581