Softmax溢出[關閉]

在 Coursera 上等待 Andrew Ng 的下一門課程時，我正在嘗試在 Python 上編寫一個分類器，在最後一層使用 softmax 函數來獲得不同的概率。但是，當我嘗試在 CIFAR-10 數據集（輸入：(3072, 10000)）上使用它時，我在計算指數時遇到了溢出。事實上，我有 5000、10000 或 25000 這樣的數字。

我已經嘗試了兩件事：

• 在計算指數之前減去一個常數到矩陣，但我的數字之間有很大的差異，所以我不能這樣做。
• 計算矩陣對數的指數，但它仍然溢出。

有人可以幫我避免這個問題嗎？

謝謝

編輯：https ://github.com/Kentena/softmax/

請注意

對於任何常數. 顯然這不是真的，但標準化版本是相同的。你的問題是s太大，所以減去相同的數字在你使用 softmax 之前從所有這些中提取。有時人們設置是所有的最大值s。

引用自：https://stats.stackexchange.com/questions/304758