Word2Vec 的 skip-gram 模型如何生成輸出向量？

我在理解 Word2Vec 算法的 skip-gram 模型時遇到問題。

在連續詞袋中很容易看出上下文詞是如何“適應”神經網絡的，因為您基本上是在將每個 one-hot 編碼表示與輸入矩陣 W 相乘之後對它們進行平均。

但是，在 skip-gram 的情況下，您只能通過將 one-hot 編碼與輸入矩陣相乘來獲得輸入詞向量，然後假設通過將輸入向量表示與輸出矩陣 W'。

我的意思是，有一個大小的詞彙表和大小的編碼,輸入矩陣和作為輸出矩陣。鑑於這個詞使用 one-hot 編碼帶有上下文詞和（有一個熱的代表和)，如果你乘由輸入矩陣你得到，現在你如何生成從這個得分向量？

我在理解它時遇到了同樣的問題。似乎所有 C 項的輸出分數向量都是相同的。但是每個 one-hot 表示的向量的誤差差異會有所不同。因此，誤差向量用於反向傳播以更新權重。

請糾正我，如果我錯了。

來源：https ://iksinc.wordpress.com/tag/skip-gram-model/

引用自：https://stats.stackexchange.com/questions/194011