什麼是人工神經網絡？
當我們深入研究神經網絡文獻時，我們會發現其他具有神經形態拓撲的方法（“神經網絡”類架構）。而且我不是在談論通用逼近定理。下面給出例子。
然後，這讓我想知道：人工神經網絡的定義是什麼？它的拓撲似乎涵蓋了一切。
例子：
我們首先進行的識別之一是在 PCA 和線性自動編碼器之間，在編碼器和解碼器中具有綁定權重，在瓶頸層中具有閾值激活。
此外，在線性模型（特別是邏輯回歸）和沒有隱藏層和單個輸出層的神經網絡之間進行了共同識別。這種識別打開了幾扇門。
傅里葉級數和泰勒級數？人工神經網絡。支持向量機？安。高斯過程？ANN（具有無限隱藏單元的單個隱藏層）。
因此，同樣容易，我們可以將具有這些算法的專門損失函數的任意正則化版本合併到神經網絡框架中。
但我們挖掘得越多，出現的相似之處就越多。我剛剛偶然發現了Deep Neural Decision Trees，它使用決策樹來識別特定的 ANN 架構，允許通過 ANN 方法（例如梯度下降反向傳播）來學習這些架構。由此，我們可以僅從神經網絡拓撲構建隨機森林和梯度提升決策樹。
如果一切都可以表示為人工神經網絡，那麼人工神經網絡的定義是什麼？
Jürgen Schmidhuber，“神經網絡中的深度學習：概述”追溯了神經網絡和深度學習中關鍵概念的歷史。在他看來，神經網絡似乎基本上包含任何可以表徵為有向圖的模型，其中每個節點代表一些計算單元。Schmidhuber 是一位著名的神經網絡研究員，他與 Sepp Hochreiter 一起撰寫了關於 LSTM 網絡的原始論文。
學習系統的哪些可修改組件對其成功或失敗負責？對它們進行哪些更改可以提高性能？這被稱為基本學分分配問題（Minsky，1963）。通用問題解決者的一般學分分配方法在各種理論意義上是時間最優的（第 6.8 節）。然而，目前的調查將集中在人工神經網絡 (NNs) 中深度學習 (DL) 的較窄但現在具有商業重要性的子領域。
標準神經網絡 (NN) 由許多稱為神經元的簡單連接處理器組成，每個處理器產生一系列實值激活。輸入神經元通過感知環境的傳感器被激活，其他神經元通過來自先前活躍神經元的加權連接被激活（詳見第 2 節）。一些神經元可能通過觸發動作來影響環境。學習或學分分配是關於找到使 NN 表現出所需行為的權重，例如駕駛汽車。根據問題和神經元的連接方式，這種行為可能需要計算階段的長因果鏈（第 3 節），其中每個階段都轉換（通常以非線性方式）網絡的聚合激活。深度學習是關於在許多這樣的階段準確地分配功勞。
幾乎沒有這樣的階段的淺 NN 模型已經存在了幾十年，如果不是幾個世紀的話（第 5.1 節）。具有多個連續非線性神經元層的模型至少可以追溯到 1960 年代（第 5.3 節）和 1970 年代（第 5.5 節）。1960 年代和 1970 年代開發了一種有效的梯度下降方法，用於在任意深度的離散、可微分網絡中進行基於教師的監督學習 (SL)，稱為反向傳播 (BP)，並於 1981 年應用於 NN（第 5.5 節）。然而，在 1980 年代後期（第 5.6 節）發現具有多層深度神經網絡的基於 BP 的訓練在實踐中很困難，並且在 1990 年代初期（第 5.9 節）已成為一個明確的研究主題。在無監督學習（UL）的幫助下，DL 在某種程度上變得切實可行，例如 Sec。5.10（1991），秒。5.15（2006 年）。1990 年代和 2000 年代也看到了純監督 DL 的許多改進（第 5 節）。在新千年，深度神經網絡終於引起了廣泛的關注，主要是通過在許多重要應用中優於其他機器學習方法，如內核機器 (Vapnik, 1995; Scholkopf et al., 1998)。事實上，自 2009 年以來，有監督的深度神經網絡已經贏得了許多官方的國際模式識別比賽（例如 Sec. 5.17、5.19、5.21、5.22），在有限領域取得了第一個超人的視覺模式識別結果（Sec. 5.19, 2011）。深度神經網絡也與沒有監督教師的更一般的強化學習（RL）領域相關（第 6 節）。主要是通過在許多重要應用中優於其他機器學習方法，例如內核機器 (Vapnik, 1995; Scholkopf et al., 1998)。事實上，自 2009 年以來，有監督的深度神經網絡已經贏得了許多官方的國際模式識別比賽（例如 Sec. 5.17、5.19、5.21、5.22），在有限領域取得了第一個超人的視覺模式識別結果（Sec. 5.19, 2011）。深度神經網絡也與沒有監督教師的更一般的強化學習（RL）領域相關（第 6 節）。主要是通過在許多重要應用中優於其他機器學習方法，例如內核機器 (Vapnik, 1995; Scholkopf et al., 1998)。事實上，自 2009 年以來，有監督的深度神經網絡已經贏得了許多官方的國際模式識別比賽（例如 Sec. 5.17、5.19、5.21、5.22），在有限領域取得了第一個超人的視覺模式識別結果（Sec. 5.19, 2011）。深度神經網絡也與沒有監督教師的更一般的強化學習（RL）領域相關（第 6 節）。在有限的領域實現第一個超人類視覺模式識別結果（2011 年第 5.19 節）。深度神經網絡也與沒有監督教師的更一般的強化學習（RL）領域相關（第 6 節）。在有限的領域實現第一個超人類視覺模式識別結果（2011 年第 5.19 節）。深度神經網絡也與沒有監督教師的更一般的強化學習（RL）領域相關（第 6 節）。
另一方面，我不確定嘗試為機器學習策略構建互斥存儲桶分類法是否一定是有利可圖的。我認為我們可以說，從某些角度來看，模型可以被視為神經網絡。我不認為這種觀點在所有情況下都一定是最好的或有用的。例如，我仍然打算將隨機森林和梯度提升樹稱為“樹集合”，而不是抽像出它們的區別並稱它們為“神經網絡樹”。此外，Schmidhuber 將 NN 與內核機器區分開來——儘管內核機器與 NN 有一些聯繫——當他寫道：“在新千年，深度 NN 終於引起了廣泛的關注，主要是通過在許多重要應用中優於其他機器學習方法（例如內核機器）。"