Machine-Learning
在線學習和批量學習有什麼區別？[複製]
我目前正在閱讀 John Duchi 和 Yoram Singer 的論文Efficient Online and Batch Learning using Forward-Backward Splitting。我對“在線”和“批處理”這兩個術語的使用感到非常困惑。
我認為“在線”意味著我們在處理一個單位的訓練數據後更新權重參數。然後我們使用新的權重參數來處理下一個單元的訓練數據。
但是，在上面的論文中，用法並不清楚。
在我看來，他們似乎正確地使用了批處理和在線學習。在第 3 節中，他們正在處理整個數據集以執行學習，即批量學習，而在第 4 節中，他們切換到可用作在線學習算法的隨機梯度跟踪。
我從來沒有使用隨機梯度跟隨作為在線學習算法；但是，可以在學習過程中簡單地停止優化過程，它仍然是一個有用的模型。對於非常大的數據集，這很有用，因為您可以測量收斂性並儘早退出學習。您可以使用隨機梯度跟踪作為在線學習方法，因為您為每個新數據點更新模型，正如我認為您自己所說的那樣。雖然，我會小心地將其稱為“每個訓練數據”。訓練數據是一個數據集，而不是一個數據點，但我想我理解你，因為你說“每個訓練數據”。