如何從對數空間中的離散（分類）分佈中採樣？
假設我有一個由向量定義的離散分佈這樣的類別將被概率繪製等等。然後我發現分佈中的一些值非常小，以至於它們下溢了我計算機的浮點數表示，因此，為了補償，我在對數空間中進行了所有計算。現在我有一個對數空間向量.
是否可以從分佈中抽樣，使得原始概率成立（類別是用概率繪製的) 但從未離開日誌空間？換句話說，我如何在沒有下溢的情況下從這個分佈中採樣？
可以使用Gumbel-max 技巧從給定對數概率的分類分佈中進行採樣，而無需留下對數空間。這個想法是，如果給定非標準化的對數概率，可以使用 softmax 函數轉換為適當的概率
然後從這樣的分佈中取樣，你可以使用這樣一個事實，如果是從按位置參數化的標準 Gumbel 分佈中提取的獨立樣本,
然後可以顯示（參見下面的參考資料）
我們可以採取
作為分類分佈的樣本，參數化為概率。Ryan Adams和Laurent Dinh在博客文章中更詳細地描述了這種方法 ，此外，Chris J. Maddison、Daniel Tarlow 和 Tom Minka在神經信息處理系統會議（2014 年）上發表了演講（幻燈片）並寫了一篇題為A的論文概括這些想法的*抽樣（另見 Maddison，2016 年；Maddison，Mnih 和 Teh，2016 年；Jang 和 Poole，2016 年），他們提到 Yellott（1977 年）提到他是最先描述該屬性的人之一。
使用逆變換採樣很容易實現它在哪裡是從均勻分佈中抽取的. 它當然不是從分類分佈中採樣的最省時的算法，但它可以讓你留在對數空間中，這在某些情況下可能是一個優勢。
Maddison, CJ, Tarlow, D. 和 Minka, T. (2014)。A* 抽樣。[在：] 神經信息處理系統的進展（第 3086-3094 頁）。
吉耶洛特 (1977)。盧斯的選擇公理、瑟斯通的比較判斷理論和雙指數分佈之間的關係。數學心理學雜誌，15（2），109-144。
Maddison, CJ, Mnih, A., & Teh, YW (2016)。具體分佈：離散隨機變量的連續鬆弛。arXiv 預印本 arXiv:1611.00712。
Jang, E., Gu, S., & Poole, B. (2016)。使用 Gumbel-Softmax 進行分類重新參數化。arXiv 預印本 arXiv:1611.01144。
麥迪遜，CJ（2016 年）。蒙特卡洛的泊松過程模型。arXiv 預印本 arXiv:1602.05986。