Tensorflow tf.train.Optimizer 如何計算梯度？

我正在關注 Tensorflow mnist 教程（https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py）。

本教程使用tf.train.Optimizer.minimize（特別是tf.train.GradientDescentOptimizer）。我沒有看到在任何地方傳遞任何參數來定義漸變。

張量流默認使用數值微分嗎？

有沒有辦法像你一樣傳遞漸變scipy.optimize.minimize？

這不是數值微分，而是自動微分。這是 tensorflow 存在的主要原因之一：通過在 tensorflow 圖中指定操作（對Tensors 等進行操作），它可以自動遵循整個圖的鍊式規則，並且由於它知道每個單獨操作的導數指定，它可以自動組合它們。

如果由於某種原因您想分段覆蓋它，可以使用gradient_override_map.

引用自：https://stats.stackexchange.com/questions/257746