Neural-Networks
支持向量機是作為一種有效訓練神經網絡的方法而開發的嗎？
該答案包含以下聲明：
支持向量機最初是作為一種有效訓練神經網絡的方法而開發的。
那是對的嗎？有人可以提供參考嗎？
讓我從支持向量機的共同發明者 Isabelle Guyon的一句話開始：
當時，每個人都在研究多層感知器（深度學習的祖先），而我在最優邊距算法方面的第一個工作只是一些主動集方法來擴大它們的邊距，受“minover”的啟發。我的丈夫 Bernhard Boser 甚至為 MLP 製作專用硬件！我與弗拉基米爾·瓦普尼克（Vladimir Vapnik）進行了激烈的討論，他與我共用辦公室，並正在推動他在 1960 年代發明的另一種最佳保證金算法。
支持向量機的發明發生在伯恩哈德決定在我們搬到伯克利之前的三個月內實施弗拉基米爾的算法時。
或者，更“官方”：
SVM 是 V. Vapnik 和他的團隊（AT&T 貝爾實驗室，1985 年）開發的一種學習技術，可以看作是訓練多項式、神經網絡或徑向基函數分類器的一種新方法。
[E。Osuna、R. Freund 和 F. Girosit：“訓練支持向量機：人臉檢測的應用”。IEEE計算機學會計算機視覺和模式識別會議論文集，130-136，1997]
但是，整個歷史當然更長，也更複雜。下面我提供一個非常簡短的時間表，作為一個簡短的概述：
- 1958 年，Rosenblatt 提出了第一個生物驅動的人工神經網絡 [F. Rosenblatt：“感知器：大腦中信息存儲和組織的概率模型”。心理評論, 65(6):386-408]
- 1964 年，Vapnik 和 Chervonenkis 提出了訓練感知器的最大邊際標準 [V. Vapnik 和 A. Chervonenkis：“關於一類感知器的註釋”。自動化和遠程控制, 25(1):112-120]
- 同樣在 1964 年，Aizerman、Braverman 和 Roznoer 介紹了將核（“勢函數”）解釋為特徵空間中的內積，並證明“感知器可以被認為是勢函數方法的實現”[MA Aizerman, EM Braverman 和 LI Roznoer：“模式識別學習中勢函數法的理論基礎”。自動化和遠程控制, 25(12):821-837]
- 1969 年，Minsky 和 Papert 出版了他們的書《感知器：計算幾何導論》，並展示了（單層）感知器的局限性。
- 1986 年，Rumelhart、Hinton 和 Williams（重新）發明了反向傳播算法並使多層感知器（“前饋神經網絡”）中的學習成為可能 [DE Rumelhart、GE Hinton 和 RJ Williams：“通過反向學習表示-傳播錯誤”。自然323（6088）：533–536]。
- 1992 年，Boser、Guyon 和 Vapnik（引言中的三人）提出了我們現在所說的“支持向量機”。他們指出：“該技術適用於各種分類功能，包括感知器 […]” [BE Boser、IM Guyon 和 VN Vapnik：“最優邊距分類器的訓練算法”。計算學習理論（COLT'92）第五屆年度研討會論文集，144-152]