線性回歸和最小二乘回歸一定是一回事嗎？

我看到了一個關於這個的帖子，但他們似乎已經趕上了統計理論，試圖解釋與這個概念不同的東西。那麼任何人都可以用簡單的方式解釋這兩個回歸之間的區別嗎？

解釋取決於您的背景。

假設你有一些所謂的自變量 $ x_1,x_2,\ldots, x_k $ （它們不必相互獨立）其中每個 $ x_i $ 取值 $ x_{i,1}, x_{i,2}\ldots, x_{i,n} $ 你想要一個因變量的回歸 $ y $ 取值 $ y_{1}, y_{2}\ldots, y_{n} $ . 然後你試圖找到一個功能 $ f(x_{1,j}, x_{2,j},\ldots, x_{k,j}) $ 的自變量在某種意義上最小化了使用該函數作為比較所有觀察結果的某種度量的損失 $ y_j $ 以及它們對應的 $ f(x_{1,j}, x_{2,j},\ldots, x_{k,j}) $

• 線性回歸限制了可能 $ f $ 對於那些形式 $ f(x_{1,j}, x_{2,j},\ldots, x_{k,j})=\beta_0+\beta_1x_{1,j}+\beta_2x_{2,j}+\ldots+\beta_kx_{k,j} $ 對於真實值 $ \beta_0,\beta_1,\beta_2, \ldots ,\beta_k $ .
• 最小二乘回歸使用如下形式的損失函數 $ \sum\limits_{j=1}^n (y_j - f(x_{1,j}, x_{2,j},\ldots, x_{k,j}))^2 $ 您想通過選擇合適的 $ f $ .

普通最小二乘線性回歸結合了估計量的線性形式和最小化差的平方和，所以兩者都有要求。但其他形式的回歸可能只使用其中一種，甚至都不使用。例如，邏輯回歸可以被視為不是線性的（它也不是最小二乘，而是使用最大似然技術），而穩健回歸通常不是簡單的最小二乘計算，儘管可能是線性的

引用自：https://stats.stackexchange.com/questions/523708