Probability

什麼是正態分佈的 PDF 日誌?

  • April 20, 2019

我正在學習最大似然估計。

根據這篇文章,正態分佈的 PDF 日誌如下所示:

$$ \log{\left(f\left(x_i;,\mu,\sigma^2\right)\right)}

  • \frac{n}{2} \log{\left(2 \pi\right)}
  • \frac{n}{2} \log{\left(\sigma^2\right)}
  • \frac{1}{2 \sigma^2} \sum{{\left(x_i - \mu\right)}^2} \tag{1} $$

根據任何概率論教科書,正態分佈的 PDF 公式: $$ \frac {1}{\sigma \sqrt {2\pi}} e^{-\frac {(x - \mu)^2}{2\sigma ^2}} \rlap{\qquad \text{where}~-\infty <x<\infty} \tag{2} $$

取表達式 2 的對數產生

$$ \begin{align} \ln\left(\frac{1}{\sigma \sqrt {2\pi}} e^{-\frac{\left(x - \mu\right)^2}{2\sigma ^2}}\right) &= \ln\left(\frac {1}{\sigma \sqrt {2\pi}}\right)+\ln{\left(e^{-\frac {(x - \mu)^2}{2\sigma ^2}}\right)} \tag{3} \[5px] &=-\ln\left(\sigma\right)-\frac{1}{2} \ln\left(2\pi\right) - \frac{\left(x - \mu\right)^2}{2\sigma ^2} \tag{4} \end{align} $$

這與等式 1 非常不同。

等式 1 對嗎?我錯過了什麼?

對於單個觀察值 $ x $ 你有對數似然:

$$ \ell_x(\mu,\sigma^2) = - \ln \sigma - \frac{1}{2} \ln (2 \pi) - \frac{1}{2} \Big( \frac{x-\mu}{\sigma} \Big)^2. $$

對於觀察值樣本 $ \mathbf{x} = (x_1,…,x_n) $ 然後你有:

$$ \ell_\mathbf{x}(\mu,\sigma^2) = \sum_{i=1}^n \ell_{x_i}(\mu,\sigma^2) = - n \ln \sigma - \frac{n}{2} \ln (2 \pi) - \frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2. $$

(請注意,在這兩種情況下,您都可以從對數似然中刪除常數項,但它不是採樣密度的對數。)

引用自:https://stats.stackexchange.com/questions/404191

comments powered by Disqus