Neural-Networks
神經網絡有多少維？
我問是因為當我們將梯度下降之類的東西可視化時，我們通常會在二維或三個維度上對其進行可視化，如下所示：
我知道我們這樣做是為了使可視化成為可能，但如果我們不考慮可視化它，會有多少維度？是神經網絡中每一層的通道數嗎？那麼對於 ResNet50，在不同的點上會是 64、128、256 和 512？在全連接層中，它是 1000 維。在考慮優化器的工作方式時，這些數字是要查看的嗎？輸入圖像是否會影響這一點？
圖片來源：https ://shashank-ojha.github.io/ParallelGradientDescent/
你說的是損失函數的維度，答案是損失函數的輸入維度是有多少個參數和偏差，輸出維度是 1 .
讓我們通過看一個線性回歸的例子來關注第一個。
$$ y
\beta_0 + \beta_1x_1+\beta_2x_2+\beta_3x_3 $$
因此平方損失是
L(β0,β1,β2,β3)=n∑i=1[(yi−(β0+β1xi1+β2xi2+β3xi3))2]
這是一個函數 R4→R ，同意嗎？我稱之為五個維度：四個用於回歸參數，一個用於輸出損失。
神經網絡與此驚人地相似。估計值是一些函數的組合，然後損失取決於估計參數的值。
y=b2+w2ReLU(b0+w0x)+w3ReLU(b1+w1x)
（我稍後會發布該網絡，但我認為這將是一個有用的練習來了解正在發生的事情。人們似乎非常渴望將神經網絡視為由圓和線組成的網絡，但真正的數學正在發生。 )
那麼損失是權重的函數 w 和偏見 b . 讓我們在這裡做絕對的損失。
L(b0,b1,b2,w0,w1,w2,w3)=
n∑i=1|yi−(b2+w2ReLU(b0+w0xi)+w3ReLU(b1+w1xi))|這是一個功能 R7→R . 我稱之為八個維度。