Classification
為什麼增加功能數量會降低性能？
我試圖獲得關於為什麼增加功能數量會降低性能的直覺。我目前正在使用一個 LDA 分類器，它在某些特徵中的雙變量表現更好，但在查看更多特徵時更差。我的分類準確度是使用分層的 10 倍 xval 執行的。
有沒有一個簡單的例子，當分類器單變量比雙變量更好地獲得對這些更高維度中正在發生的事情的某種物理或空間直覺？
請參閱“維數問題：一個簡單的示例”——GV Trunk 的一篇非常簡短且非常古老的文章。他考慮了一個兩類問題，即高斯類條件分佈，其中特徵都相關但相關性降低。他表明，在有限樣本上訓練的分類器的錯誤率收斂到 0.5，而隨著特徵數量的增加，貝葉斯錯誤接近 0。