SVM = 模板匹配如何？

我閱讀了有關 SVM 的信息並了解到它們正在解決優化問題，並且最大邊距的想法非常合理。

現在，使用內核，他們甚至可以找到非常棒的非線性分離邊界。

到目前為止，我真的不知道 SVM（一種特殊的內核機器）和內核機器是如何與神經網絡相關的？

考慮一下Yann Lecun的評論=>這裡：

kernel methods were a form of glorified template matching

這裡也是：

例如，有些人對內核方法感到眼花繚亂，因為它伴隨著可愛的數學。但是，正如我過去所說，最終，內核機器是執行“美化模板匹配”的淺層網絡。這並沒有錯（SVM 是一種很好的方法），但它有我們都應該意識到的可怕的局限性。

所以我的問題是：

1. SVM 與神經網絡有什麼關係？淺層網絡如何？
2. SVM 解決了具有明確定義的目標函數的優化問題，它是如何進行模板匹配的？這裡輸入匹配的模板是什麼？

我想這些評論需要對高維空間、神經網絡和內核機器有一個透徹的理解，但到目前為止我一直在嘗試並且無法掌握其背後的邏輯。但是注意到兩種非常不同的機器學習技術之間的聯繫肯定很有趣。

編輯：我認為從神經的角度理解 SVM 會很棒。我正在尋找對上述兩個問題的全面的數學支持答案，以便真正理解支持向量機和神經網絡之間的聯繫，無論是在線性支持向量機和帶有內核技巧的支持向量機的情況下。

1. SVM 與神經網絡有什麼關係？淺層網絡如何？

SVM 是一個單層神經網絡，以鉸鏈損失作為損失函數，並且只使用線性激活。這個概念在之前的線程中已經提到過，例如這個：單層神經網絡，RelU 激活等於 SVM？

2. SVM 解決了具有明確定義的目標函數的優化問題，它是如何進行模板匹配的？這裡輸入匹配的模板是什麼？

Gram Matrix（內核矩陣，如果您願意的話）是一種相似性度量。由於 SVM 允許稀疏解決方案，因此預測變成了將樣本與模板（即支持向量）進行比較的問題。

引用自：https://stats.stackexchange.com/questions/263587