簡單線性回歸的梯度下降與否

有許多網站描述了梯度下降以找到簡單線性回歸的參數（這裡是其中之一）。谷歌還在他們的新（向公眾）機器學習課程中描述了它。

但是在Wikipedia上，提供了以下計算參數的公式：

此外，scikit-learn LinearRegression函數沒有n_iter_（迭代次數）屬性，因為它對許多其他學習函數都有，我想這表明沒有使用梯度下降？

問題：

1. 描述簡單線性回歸的梯度下降的網站是否只是為了在最基本的 ML 模型上教授它的概念？維基百科上的公式是大多數統計軟件用來計算參數的嗎（至少 scikit-learn 似乎沒有使用梯度下降）？
2. 多元線性回歸通常使用什麼？
3. 對於哪些類型的統計學習模型，梯度下降通常用於查找其他方法的參數？即有一些經驗法則嗎？

1. 線性回歸通常用作引入梯度下降概念的一種方式。
2. QR 分解是最常見的策略。SVD 和 Cholesky 分解是其他選項。請參閱我們是否需要梯度下降來找到線性回歸模型的係數

特別要注意，您編寫的方程可能表明數值條件不佳和/或計算成本很高。QR 因式分解不太容易受到條件問題的影響（但不能免疫）並且不太昂貴。

3. 神經網絡是梯度下降應用最突出的例子，但它遠非唯一的例子。需要迭代更新的問題的另一個示例是邏輯回歸，它不允許直接解決方案，因此通常使用 Newton-Raphson。（但也可以使用 GD 或其變體。）

引用自：https://stats.stackexchange.com/questions/343021