Terminology
Hessian梯度近似外積的名稱
是否有將 Hessian 近似為梯度與自身的外積的名稱？
如果一個近似於 log-loss 的 Hessian，那麼梯度與自身的外積就是 Fisher 信息矩陣。一般來說呢？
我在解釋所謂的高斯-牛頓矩陣假設（Schraudolph, NN (2002). Fasturize matrix-vector products for second-order gradient descent. Neural Computation, 14(7), 1723–38。）。我們有一個輸入向量，然後是一個線性變換，然後是一個非線性損失函數。線性變換 (A) 的 Hessian 近似為梯度的外積。假設負對數損失函數 (B) 的 Hessian 矩陣是半正定的。我的問題是假設 A 是什麼？
對數似然梯度的外積的期望值是“信息矩陣”或“Fisher 信息”，無論我們是否使用它來代替 Hessian 的負數，請參閱這篇文章。這也是“分數的方差”。
允許我們使用梯度的外積而不是 Hessian 的負數的關係稱為信息矩陣等式，它在正確規範的假設下是有效的（這很重要，但通常沒有提及），以及作為允許整合和分化互換的一些規律性條件。
也許這也很有用。
注意：在許多角落它只是說“漸變的外積”而沒有添加“與自身”。