Machine-Learning
KNN有損失函數嗎？
在機器學習的背景下，我沒有在 wiki 上找到損失函數的定義。
雖然這個不太正式，但很清楚。
損失函數的核心非常簡單：它是一種評估算法對數據集建模的好壞的方法。如果您的預測完全錯誤，您的損失函數將輸出更高的數字。如果它們非常好，它會輸出一個較低的數字。當您更改算法的各個部分以嘗試改進模型時，您的損失函數會告訴您是否成功。
看來KNN的錯誤率並不是可以指導模型本身優化的函數，比如梯度下降。
那麼，KNN 有損失函數嗎？
$ k $ -NN 沒有可以在訓練期間最小化的損失函數。事實上，這個算法根本沒有經過訓練。唯一發生的“培訓” $ k $ -NN，正在記憶數據（創建本地副本），以便在預測期間您可以進行搜索和多數投票。從技術上講，沒有適合數據的函數，因此沒有進行優化（不能使用梯度下降進行訓練）。