Text-Mining

是否複製了使用段落向量進行情感分析的最先進性能?

  • November 11, 2014

Le 和 Mikolov的 ICML 2014 論文“句子和文檔的分佈式表示”中的結果給我留下了深刻的印象。他們描述的技術稱為“段落向量”,基於 word2vec 模型的擴展來學習任意長段落/文檔的無監督表示。該論文報告了使用這種技術進行情感分析的最先進性能。

我希望在其他文本分類問題上評估這種技術,作為傳統詞袋表示的替代方案。然而,我在 word2vec 谷歌組的一個線程中遇到了第二位作者的帖子,這讓我停了下來:

我試圖在夏天重現 Quoc 的結果。我可以將 IMDB 數據集的錯誤率提高到 9.4% - 10% 左右(取決於文本規範化的好壞)。但是,我無法接近 Quoc 在論文中報告的內容(7.4% 的錯誤,這是一個巨大的差異)……當然,我們也向 Quoc 詢問了代碼;他承諾將其發布,但到目前為止還沒有發生任何事情。…我開始認為 Quoc 的結果實際上是不可重複的。

有沒有人成功地複制了這些結果?

http://arxiv.org/abs/1412.5335的腳註(作者之一是 Tomas Mikolov)說

在我們的實驗中,為了匹配 (Le & Mikolov, 2014) 的結果,我們遵循 Quoc Le 的建議,使用分層 softmax 代替負採樣。然而,只有當訓練和測試數據沒有被打亂時,這才會產生 92.6% 的準確率結果。因此,我們認為這個結果是無效的。

引用自:https://stats.stackexchange.com/questions/123562

comments powered by Disqus