K=1 時 KNN 分類器中的訓練誤差

我在測驗中得到了這個問題，它詢問當 K=1 時 KNN 分類器的訓練誤差是多少。訓練對 KNN 分類器意味著什麼？我對 KNN 分類器的理解是，它考慮了整個數據集，並為任何新的觀察值分配了大多數最接近的 K 鄰居的值。培訓在哪裡出現？此外，為此提供的正確答案是，無論任何數據集如何，訓練誤差都將為零。這怎麼可能？

此處的訓練錯誤是將訓練集作為測試集輸入到 KNN 時出現的錯誤。當 K = 1 時，您將選擇最接近測試樣本的訓練樣本。由於您的測試樣本在訓練數據集中，它會選擇自己作為最接近的並且永遠不會出錯。因此，無論數據集如何，當 K = 1 時，訓練誤差將為零。順便說一句，這裡有一個合乎邏輯的假設，那就是您的訓練集不會包含屬於不同類別的相同訓練樣本，即相互衝突的信息。不過，一些現實世界的數據集可能具有此屬性。

引用自：https://stats.stackexchange.com/questions/367010