Neural-Networks
神經網絡的信息存儲容量是多少？
首先，（前饋）神經網絡可以被認為是一個查找表。. 所以它肯定會存儲一些數據。
數據壓縮的理論極限是 -p. 然而，神經網絡中的數據存儲為權重和偏差，而不是可變長度編碼，那麼這個等式是否適用？
比如說，我有一個一定大小的完全壓縮的數據集，如果我對網絡進行了完美的訓練，權重和偏差的大小會相同嗎？
我怎麼知道我的神經網絡是否有足夠的代表能力來代表整個數據集？
好吧，一張桌子絕對不是看待這個問題的正確方式。考慮函數. 我可以創建一個由這個函數表示的輸入輸出對的無限表。但是，我只能用這個函數準確地表示 1 個這樣的表。現在考慮這個函數：. 對於不同的值，這個函數可以表示無限多的表（甚至是不可數的數字）。
我能想出的描述神經網絡信息存儲能力的最好方法是引用通用逼近定理：https ://en.wikipedia.org/wiki/Universal_approximation_theorem 。總而言之，假設我們有一個任意連續函數，並且我們想要近似該函數的輸出。現在說，對於每個輸入，我們的近似值的輸出不應偏離給定的值以上. 然後我們可以創建一個具有滿足該約束的單個隱藏層的神經網絡，無論連續函數如何，無論容錯性有多小。唯一的要求是，如果我們選擇越來越小的錯誤率，隱藏層中的節點數量可能會任意增長。