對比學習或方法背後的直覺是什麼？

也許是一個菜鳥查詢，但最近我看到了大量關於對比學習（半監督學習的一個子集）的論文。

我閱讀的一些著名的和最近的研究論文詳細介紹了這種方法：

• 具有對比預測編碼的表示學習 @ https://arxiv.org/abs/1807.03748
• SimCLR-v1：視覺表示對比學習的簡單框架 @ https://arxiv.org/abs/2002.05709
• SimCLR-v2：大型自我監督模型是強大的半監督學習者 @ https://arxiv.org/abs/2006.10029
• MoCo-v1：無監督視覺表示學習的動量對比 @ https://arxiv.org/abs/1911.05722
• MoCo-v2：通過動量對比學習改進基線 @ https://arxiv.org/abs/2003.04297
• PIRL：Pretext-Invariant Representations 的自監督學習 @ https://arxiv.org/abs/1912.01991

你們能否詳細解釋這種方法與遷移學習和其他方法？另外，為什麼它在 ML 研究社區中越來越受歡迎？

對比學習非常直觀。如果我讓你在下面的照片中找到匹配的動物，你可以很容易地做到這一點。您了解左側的動物是“貓”，並且您想在右側找到另一個“貓”圖像。因此，您可以在相似和不同的事物之間 進行對比。

對比學習是一種為機器尋找相似和不同事物的任務的方法。您可以訓練機器學習模型來對相似圖像和不同圖像進行分類。有多種選擇可供選擇：

1. 編碼器架構：將圖像轉換為表示
2. 兩幅圖像之間的相似度度量：均方誤差、餘弦相似度、內容損失
3. 生成訓練對：手動註釋、自監督方法

這篇博文更詳細地解釋了對比學習背後的直覺，以及它是如何在最近的論文（如SimCLR ）中應用的。

引用自：https://stats.stackexchange.com/questions/451827