為什麼在這種情況下最小二乘解的結果很差？
Bishop 的“模式識別和機器學習”第 4 章第 204 頁有一張圖片，我不明白為什麼最小二乘解決方案在這裡給出的結果很差：
上一段是關於最小二乘解決方案對異常值缺乏魯棒性的事實，如下圖所示，但我不明白另一張圖片中發生了什麼以及為什麼 LS 在那裡也給出了糟糕的結果。
您在 Bishops 圖 4.5 中使用最小二乘解決方案看到的特殊現像是僅在類數為.
在ESL中，第 105 頁的圖 4.2，這種現象稱為掩蔽。另見 ESL 圖 4.3。最小二乘解導致 middel 類的預測變量主要由其他兩個類的預測變量控制。LDA 或邏輯回歸不會遇到這個問題。可以說是類概率線性模型的剛性結構（本質上是從最小二乘擬合中得到的）導致了掩蔽。
只有兩個類不會發生這種現象另請參閱 ESL 中的練習 4.2，第 135 頁，以了解有關 LDA 解決方案與二分類情況下的最小二乘解決方案之間關係的詳細信息。
**編輯：**對於二維問題，掩蔽可能最容易可視化，但在一維情況下也是一個問題，這裡的數學特別容易理解。假設一維輸入變量被排序為
與來自第 1 類，來自二班和來自第 3 類。連同作為 3 維二進制向量的類的編碼方案，我們將數據組織如下
給出最小二乘解作為每個列的三個回歸在. 對於第一列，-class，斜率將是負數（所有斜率都在左上方），對於最後一列，-class，斜率為正。對於中間列，-class，線性回歸將不得不平衡兩個外部類的零與中間類的零，從而導致相當平坦的回歸線和該類的條件類概率的擬合特別差。事實證明，對於輸入變量的大多數值，兩個外部類的回歸線的最大值支配了中間類的回歸線，並且中間類被外部類掩蓋了。
事實上，如果那麼一個類總是會被完全屏蔽，不管輸入變量是否按上面的順序排列。如果班級人數都相等，則三個回歸線都通過該點在哪裡
因此，三條線都在同一點相交，其中兩條線的最大值支配第三條線。
