神經網絡和線性回歸的本質區別是什麼

神經網絡是幾個線性變換 $ L_1,\ldots, L_m $ 依次應用於特徵向量 $ X $ . 線性變換的組合是線性變換。所以畢竟我們得到 $ L X $ 在哪裡 $ L $ 是一個組成 $ L_1,\ldots, L_m $ .

問題是：如果最終我們擁有的神經網絡只是將線性變換應用於特徵向量，那麼神經網絡和線性回歸之間的本質區別是什麼

不，一個神經網絡不是幾個連續的線性變換。正如您所注意到的，這最終只會導致另一個線性變換，那麼為什麼要多而不是一個呢？實際上，神經網絡執行多個（至少一個，但可能更多，取決於隱藏層的數量）非線性（例如 sigmoid）變換。

這也是神經網絡和線性回歸之間的區別，因為後者使用回歸量的線性組合來近似回歸和。

引用自：https://stats.stackexchange.com/questions/259950