什麼是正態分佈的 PDF 日誌?
我正在學習最大似然估計。
根據這篇文章,正態分佈的 PDF 日誌如下所示:
$$ \log{\left(f\left(x_i;,\mu,\sigma^2\right)\right)}
- \frac{n}{2} \log{\left(2 \pi\right)}
- \frac{n}{2} \log{\left(\sigma^2\right)}
- \frac{1}{2 \sigma^2} \sum{{\left(x_i - \mu\right)}^2} \tag{1} $$
根據任何概率論教科書,正態分佈的 PDF 公式: $$ \frac {1}{\sigma \sqrt {2\pi}} e^{-\frac {(x - \mu)^2}{2\sigma ^2}} \rlap{\qquad \text{where}~-\infty <x<\infty} \tag{2} $$
取表達式 2 的對數產生
$$ \begin{align} \ln\left(\frac{1}{\sigma \sqrt {2\pi}} e^{-\frac{\left(x - \mu\right)^2}{2\sigma ^2}}\right) &= \ln\left(\frac {1}{\sigma \sqrt {2\pi}}\right)+\ln{\left(e^{-\frac {(x - \mu)^2}{2\sigma ^2}}\right)} \tag{3} \[5px] &=-\ln\left(\sigma\right)-\frac{1}{2} \ln\left(2\pi\right) - \frac{\left(x - \mu\right)^2}{2\sigma ^2} \tag{4} \end{align} $$
這與等式 1 非常不同。
等式 1 對嗎?我錯過了什麼?
對於單個觀察值 $ x $ 你有對數似然:
$$ \ell_x(\mu,\sigma^2) = - \ln \sigma - \frac{1}{2} \ln (2 \pi) - \frac{1}{2} \Big( \frac{x-\mu}{\sigma} \Big)^2. $$
對於觀察值樣本 $ \mathbf{x} = (x_1,…,x_n) $ 然後你有:
$$ \ell_\mathbf{x}(\mu,\sigma^2) = \sum_{i=1}^n \ell_{x_i}(\mu,\sigma^2) = - n \ln \sigma - \frac{n}{2} \ln (2 \pi) - \frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2. $$
(請注意,在這兩種情況下,您都可以從對數似然中刪除常數項,但它不是採樣密度的對數。)