Word-Embeddings
逆詞嵌入：向量到詞
我正在構建一個生成文本模型，最後一層的輸出是生成詞的詞嵌入（向量）。我的任務是將這個向量轉換回實際的單詞。
有沒有一個很好的算法來做這個反轉？我正在考慮使用全連接/密集層，但隨後它與原始（前向）嵌入層分離。理想情況下，我認為最好以某種方式使用嵌入層的參數進行反演。
沒有一種“正確”的方法可以將詞向量轉回單詞。問題是單詞本身在嵌入空間中形成了一組離散的點，因此模型的輸出不太可能完全等於任何單詞的位置。
通常，如果您的模型發出向量 $ v $ 然後通過找到一個詞來將其解釋為一個詞 $ w $ 帶嵌入 $ v_w $ 這樣 $ d(v, v_w) $ 很小，即 $ v $ 是“接近”的嵌入 $ w $ . 選擇距離函數 $ d $ 取決於您，儘管通常使用餘弦相似度。根據應用程序，您還可以考慮顯示頂部- $ k $ 與您的詞向量相似的詞，這可以提供更多的多樣性。