求 MLE 和 MSEθθtheta在哪裡FX(x∣θ)=θX−2一世x≥θ(×)FX(X∣θ)=θX−2一世X≥θ(X)f_X(xmidtheta)=theta x^{−2} I_{xgeqtheta}(x)
考慮 iid 隨機變量 $ X_1 $ , $ X_2 $ , . . . , $ X_n $ 有pdf
$$ f_X(x\mid\theta) = \begin{cases} \theta x^{−2} & x\geq\theta \ 0 & x\lt\theta \end{cases} $$
在哪裡 $ \theta \gt 0 $ 和 $ n\geq 3 $
(a) 給出似然函數，清楚地表示為 $ \theta $
(b) 給出 MLE 的 MSE $ \theta $
我的嘗試：
（一種）$$ L(\theta\mid\vec{x}) = \begin{cases} \theta^n\left(\prod_{i=1}^n x_i\right)^{−2} & x_{(1)}\geq\theta \ 0 & x_{(1)}\lt\theta \end{cases} $$
(b) 顯然 MLE $ \theta $ 是 $ X_{(1)} $ . 我們有
$$ \begin{align*} F_{X_{(1)}}(x) &=\mathsf P(\text{min}{{X_1,…,X_n}}\leq x)\\ &=1-\mathsf P(\text{min}{{X_1,…,X_n}}\gt x)\\ &=1-\left(1-F_X(x)\right)^n\\ &=1-\left(\frac{\theta}{x}\right)^n \end{align*} $$
所以
$$ f_{X_{(1)}}(x)=\left(1-\left(\frac{\theta}{x}\right)^n\right)'=\frac{n\theta^n}{x^{n+1}}I_{[\theta,\infty)}(x) $$
它遵循
$$ \begin{align*} \mathsf E\left(X_{(1)}^2\right) &=\int_{\theta}^{\infty}\frac{n\theta^n}{x^{n-1}}dx\\ &=n\theta^n\left(\frac{x^{-n+2}}{-n+2}\Biggr{|}_{\theta}^{\infty}\right)\\ &=\frac{n\theta^2}{n-2} \end{align*} $$
和
$$ \begin{align*} \mathsf E\left(X_{(1)}\right) &=\int_{\theta}^{\infty}\frac{n\theta^n}{x^{n}}dx\\ &=n\theta^n\left(\frac{x^{-n+1}}{-n+1}\Biggr{|}_{\theta}^{\infty}\right)\\ &=\frac{n\theta}{n-1} \end{align*} $$
所以
$$ \begin{align*} \mathsf{Var}\left(X_{(1)}\right) &=\frac{n\theta^2}{n-2}-\left(\frac{n\theta}{n-1}\right)^2\\ &=\theta^2\left(\frac{n}{n-2}-\frac{n^2}{(n-1)^2}\right) \end{align*} $$
我們還有
$$ \begin{align*} \text{bias}^2\left(\hat{\theta}\right) &=\left(\mathsf E\left(\hat{\theta}\right)-\theta\right)^2\\ &=\left(\frac{n\theta}{n-1}-\theta\right)^2\\ &=\left(\theta\left(\frac{n}{n-1}-1\right)\right)^2 \end{align*} $$
最後，MSE 由下式給出
$$ \begin{align*} \mathsf{Var}\left(X_{(1)}\right)+\text{bias}^2\left(\hat{\theta}\right) &=\theta^2\left(\frac{n}{n-2}-\frac{n^2}{(n-1)^2}\right)+\left(\theta\left(\frac{n}{n-1}-1\right)\right)^2\\ &=\theta^2\left(\frac{n}{n-2}-\frac{n^2}{(n-1)^2}+\left(\frac{n}{n-1}-1\right)^2\right)\\ &=\frac{2\theta^2}{(n-1)(n-2)} \end{align*} $$
這些是有效的解決方案嗎？
這個問題現在已經足夠老了，可以給出一個完整簡潔的解決方案來確認你的計算。使用訂單統計的標準符號，這裡的似然函數是：
$$ \begin{aligned} L_\mathbf{x}(\theta) &= \prod_{i=1}^n f_X(x_i|\theta) \[6pt] &= \prod_{i=1}^n \frac{\theta}{x_i^2} \cdot \mathbb{I}(x_i \geqslant) \[6pt] &\propto \prod_{i=1}^n \theta \cdot \mathbb{I}(x_i \geqslant \theta) \[12pt] &= \theta^n \cdot \mathbb{I}(0 < \theta \leqslant x_{(1)}). \[6pt] \end{aligned} $$
此函數在範圍內嚴格增加 $ 0 < \theta \leqslant x_{(1)} $ 所以 MLE 是：
$$ \hat{\theta} = x_{(1)}. $$
**MLE 的均方誤差：**與其推導估計量的分佈，在這種情況下推導估計誤差的分佈更快。將估計誤差定義為 $ T \equiv \hat{\theta} - \theta $ 並註意它具有分發功能：
$$ \begin{aligned} F_T(t) \equiv \mathbb{P}(\hat{\theta} - \theta \leqslant t) &= 1-\mathbb{P}(\hat{\theta} > \theta + t) \[6pt] &= 1-\prod_{i=1}^n \mathbb{P}(X_i > \theta + t) \[6pt] &= 1-(1-F_X(\theta + t))^n \[6pt] &= \begin{cases} 0 & & \text{for } t < 0, \[6pt] 1 - \Big( \frac{\theta}{\theta + t} \Big)^n & & \text{for } t \geqslant 0. \[6pt] \end{cases} \end{aligned} $$
因此，密度有支持 $ t \geqslant 0 $ ，我們有：
$$ \begin{aligned} f_T(t) \equiv \frac{d F_T}{dt}(t) &= - n \Big( - \frac{\theta}{(\theta + t)^2} \Big) \Big( \frac{\theta}{\theta + t} \Big)^{n-1} \[6pt] &= \frac{n \theta^n}{(\theta + t)^{n+1}}. \[6pt] \end{aligned} $$
假如說 $ n>2 $ ，因此估計量的均方誤差由下式給出：
$$ \begin{aligned} \text{MSE}(\hat{\theta}) = \mathbb{E}(T^2) &= \int \limits_0^\infty t^2 \frac{n \theta^n}{(\theta + t)^{n+1}} \ dt \[6pt] &= n \theta^n \int \limits_0^\infty \frac{t^2}{(\theta + t)^{n+1}} \ dt \[6pt] &= n \theta^n \int \limits_\theta^\infty \frac{(r-\theta)^2}{r^{n+1}} \ dr \[6pt] &= n \theta^n \int \limits_\theta^\infty \Big[ r^{-(n-1)} - 2 \theta r^{-n} + \theta^2 r^{-(n+1)} \Big] \ dr \[6pt] &= n \theta^n \Bigg[ -\frac{r^{-(n-2)}}{n-2} + \frac{2 \theta r^{-(n-1)}}{n-1} - \frac{\theta^2 r^{-n}}{n} \Bigg]_{r = \theta}^{r \rightarrow \infty} \[6pt] &= n \theta^n \Bigg[ \frac{\theta^{-(n-2)}}{n-2} - \frac{2 \theta^{-(n-2)}}{n-1} + \frac{\theta^{-(n-2)}}{n} \Bigg] \[6pt] &= n \theta^2 \Bigg[ \frac{1}{n-2} - \frac{2}{n-1} + \frac{1}{n} \Bigg] \[6pt] &= \theta^2 \cdot \frac{n(n-1) - 2n(n-2) + (n-1)(n-2)}{(n-1)(n-2)} \[6pt] &= \theta^2 \cdot \frac{n^2 - n - 2n^2 + 4n + n^2 - 3n + 2}{(n-1)(n-2)} \[6pt] &= \frac{2\theta^2}{(n-1)(n-2)}. \[6pt] \end{aligned} $$