Algorithms
有人可以解釋一下反向傳播算法嗎?[複製]
什麼是反向傳播算法,它是如何工作的?
反向傳播算法是一種用於擬合神經網絡模型的梯度下降算法。(正如@Dikran 提到的)讓我解釋一下。
**正式地:**在下面的等式 [1] 中使用本文末尾的梯度計算(即梯度下降的定義)給出了反向傳播算法作為使用梯度下降的特例。
神經網絡模型 正式地,我們用一個簡單的單層模型來修復想法:
在哪裡和眾所周知,, 和,是未知的仿射函數。功能在分類框架中稱為激活函數。 採用二次損失函數來修復想法。因此輸入的向量可以擬合到實際輸出 的(可以是向量)通過最小化經驗損失:
關於選擇和. 梯度 下降 用於最小化的是一種迭代算法:
對於精心選擇的步長(在反向傳播框架中也稱為學習率)。它需要計算梯度. 在考慮的情況下. 梯度(對於簡單考慮的神經網絡模型)讓我們表示,的梯度作為一個函數, 和的梯度作為一個函數. 標準計算(使用推導函數組合的規則)和符號的使用給
對所有人
這裡我使用了 R 符號:是由坐標組成的向量從索引索引.