線性回歸的 MLE，student-t 分佈誤差
說我有一個對和我有關係
誤差項在哪裡是來自具有恆定（已知）自由度的學生 t 分佈的獨立同分佈，（例如自由度，其中）。如果我想計算 MLE，我如何將給定的分佈與感興趣的參數聯繫起來？ 對不起，如果這是微不足道的，但我四處搜索並沒有真正看到這樣的例子。
MLE 是通過最大化對數似然函數獲得的，因此您首先要做的是查看此函數。使用已知自由度的學生 T 分佈的密度函數 $ k \in \mathbb{N} $ ，您可以將對數似然寫為：
$$ \ell_\mathbf{x,y} (\beta_0, \beta_1) = - \sum_{i=1}^n \ln \Big( k + (y_i - \beta_0 - \beta_1 x_i)^2 \Big). $$
殘差 $ r_i = y_i - \hat{\beta}0 - \hat{\beta}1 x_i $ 在 MLE 下最小化 $ \sum{i=1}^n \ln ( k + r_i^2 ) $ . 作為 $ k \rightarrow \infty $ 我們有 $ \ln ( k + r_i^2 ) = \ln(k) + \ln(1+r_i^2/k) \approx \ln(k) + r_i^2/k $ 使殘差最小化 $ \sum{i=1}^n r_i^2 $ 在極限內，這是正態分佈誤差的標準 OLS 解決方案。通過上述對數變換，使用 T 分佈有效地抑制了大殘差的影響，因此 MLE 比正常情況下更能容忍一些大殘差。
**找到 MLE：**可以使用普通微積分技術通過對數似然的數值最大化來獲得 MLE。對數似然的梯度由偏導數給出：
$$ \begin{equation} \begin{aligned} \frac{\partial \ell_\mathbf{x,y}}{\partial \beta_0}(\beta_0, \beta_1) &= \sum_{i=1}^n \frac{2 (y_i - \beta_0 - \beta_1 x_i)}{k+(y_i - \beta_0 - \beta_1 x_i)^2}, \[6pt] \frac{\partial \ell_\mathbf{x,y}}{\partial \beta_1}(\beta_0, \beta_1) &= \sum_{i=1}^n \frac{2 x_i (y_i - \beta_0 - \beta_1 x_i)}{k+(y_i - \beta_0 - \beta_1 x_i)^2}. \[6pt] \end{aligned} \end{equation} $$
這導致分數方程：
$$ \begin{equation} \begin{aligned} 0 &= \sum_{i=1}^n \frac{2 (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)}{k+(y_i - \hat{\beta}_0 - \hat{\beta}1 x_i)^2}, \[6pt] 0 &= \sum{i=1}^n \frac{2 x_i (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)}{k+(y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)^2}. \[6pt] \end{aligned} \end{equation} $$
可以使用迭代技術（例如 Newton-Raphson 或梯度下降法或其他更複雜的方法）對這些方程進行數值求解。MLE 的精確分佈會很複雜，但是根據標準大樣本理論，對於大樣本，MLE 應該是正態分佈的。