查找 UMVUE 的1θ1θfrac{1}{theta}在哪裡FX(x∣θ)=θ(1+x)-(1+θ)一世(0,∞)(×)FX(X∣θ)=θ(1+X)-(1+θ)一世(0,∞)(X)f_X(xmidtheta) =theta(1 +x)^{−(1+theta)}I_{(0,infty)}(x)
讓 $ X_1, X_2, . . . , X_n $ 是具有pdf的獨立同分佈隨機變量
$$ f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) $$
在哪裡 $ \theta >0 $ . 給出UMVUE $ \frac{1}{\theta} $ 併計算其方差
我已經了解了兩種獲得 UMVUE 的方法：
- Cramer-Rao 下限 (CRLB)
- 萊曼-謝夫定理
我將嘗試使用兩者中的前者。我必須承認我並不完全理解這裡發生了什麼，並且我嘗試的解決方案是基於一個示例問題。我有這個 $ f_X(x\mid\theta) $ 是一個完整的單參數指數族
$ h(x)=I_{(0,\infty)} $ , $ c(\theta)=\theta $ , $ w(\theta)=-(1+\theta) $ , $ t(x)=\text{log}(1+x) $
自從 $ w'(\theta)=1 $ 是非零的 $ \Theta $ , CRLB 結果適用。我們有
$$ \text{log }f_X(x\mid\theta)=\text{log}(\theta)-(1+\theta)\cdot\text{log}(1+x) $$
$$ \frac{\partial}{\partial \theta}\text{log }f_X(x\mid\theta)=\frac{1}{\theta}-\text{log}(1+x) $$
$$ \frac{\partial^2}{\partial \theta^2}\text{log }f_X(x\mid\theta)=-\frac{1}{\theta^2} $$
所以$$ I_1(\theta)=-\mathsf E\left(-\frac{1}{\theta^2}\right)=\frac{1}{\theta^2} $$
和 CRLB 的無偏估計量 $ \tau(\theta) $ 是
$$ \frac{[\tau'(\theta)]^2}{n\cdot I _1(\theta)} = \frac{\theta^2}{n}[\tau'(\theta)]^2 $$
自從$$ \sum_{i=1}^n t(X_i)=\sum_{i=1}^n \text{log}(1+X_i) $$
那麼任何線性函數 $ \sum_{i=1}^n \text{log}(1+X_i) $ ，或等效地，任何線性函數 $ \frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i) $ , 將達到其期望的 CRLB，從而成為其期望的 UMVUE。自從 $ \mathsf E(\text{log}(1+X))=\frac{1}{\theta} $ 我們有那個UMVUE $ \frac{1}{\theta} $ 是 $ \frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i) $
對於自然參數化，我們可以讓 $ \eta=-(1+\theta)\Rightarrow \theta=-(\eta+1) $
然後
$$ \mathsf{Var}(\text{log}(1+X))=\frac{d}{d\eta}\left(-\frac{1}{\eta+1}\right)=\frac{1}{(\eta+1)^2}=\frac{1}{\theta^2} $$
這是一個有效的解決方案嗎？有沒有更簡單的方法？此方法是否僅在以下情況下有效 $ \mathsf E(t(x)) $ 等於你試圖估計的？
你的推理大部分是正確的。
樣品的聯合密度 $ (X_1,X_2,\ldots,X_n) $ 是
$$ \begin{align} f_{\theta}(x_1,x_2,\ldots,x_n)&=\frac{\theta^n}{\left(\prod_{i=1}^n (1+x_i)\right)^{1+\theta}}\mathbf1_{x_1,x_2,\ldots,x_n>0}\qquad,,\theta>0 \\\implies \ln f_{\theta}(x_1,x_2,\ldots,x_n)&=n\ln(\theta)-(1+\theta)\sum_{i=1}^n\ln(1+x_i)+\ln(\mathbf1_{\min_{1\le i\le n} x_i>0}) \\\implies\frac{\partial}{\partial \theta}\ln f_{\theta}(x_1,x_2,\ldots,x_n)&=\frac{n}{\theta}-\sum_{i=1}^n\ln(1+x_i) \\&=-n\left(\frac{\sum_{i=1}^n\ln(1+x_i)}{n}-\frac{1}{\theta}\right) \end{align} $$
因此，我們將得分函數表示為
$$ \frac{\partial}{\partial \theta}\ln f_{\theta}(x_1,x_2,\ldots,x_n)=k(\theta)\left(T(x_1,x_2,\ldots,x_n)-\frac{1}{\theta}\right)\tag{1} $$
，這是Cramér-Rao不等式中的等式條件。
不難驗證$$ E(T)=\frac{1}{n}\sum_{i=1}^n\underbrace{E(\ln(1+X_i))}_{=1/\theta}=\frac{1}{\theta}\tag{2} $$
從 $ (1) $ 和 $ (2) $ 我們可以得出結論
- 統計數據 $ T(X_1,X_2,\ldots,X_n) $ 是一個無偏估計量 $ 1/\theta $ .
- $ T $ 滿足 Cramér-Rao 不等式的等式條件。
這兩個事實共同表明 $ T $ 是 UMVUE $ 1/\theta $ .
第二個項目符號實際上告訴我們方差 $ T $ 達到 Cramér-Rao 下界 $ 1/\theta $ .
確實，正如你所展示的， $$ E_{\theta}\left[\frac{\partial^2}{\partial\theta^2}\ln f_{\theta}(X_1)\right]=-\frac{1}{\theta^2} $$
這意味著整個樣本的信息函數是$$ I(\theta)=-nE_{\theta}\left[\frac{\partial^2}{\partial\theta^2}\ln f_{\theta}(X_1)\right]=\frac{n}{\theta^2} $$
因此，Cramér-Rao 的下界為 $ 1/\theta $ 因此 UMVUE 的方差為
$$ \operatorname{Var}(T)=\frac{\left[\frac{d}{d\theta}\left(\frac{1}{\theta}\right)\right]^2}{I(\theta)}=\frac{1}{n\theta^2} $$
在這裡，我們利用了 Cramér-Rao 不等式的推論，它表示對於一個分佈族 $ f $ 參數化 $ \theta $ （假設 CR 不等式的正則條件成立），如果統計 $ T $ 是公正的 $ g(\theta) $ 對於某些功能 $ g $ 如果滿足 CR 不等式中的等式條件，即$$ \frac{\partial}{\partial\theta}\ln f_{\theta}(x)=k(\theta)\left(T(x)-g(\theta)\right) $$， 然後 $ T $ 必須是 UMVUE $ g(\theta) $ . 所以這個論點並不適用於所有問題。
或者，使用 Lehmann-Scheffe 定理，您可以這樣說 $ T=\frac{1}{n}\sum_{i=1}^{n} \ln(1+X_i) $ 是 UMVUE $ 1/\theta $ 因為它是公正的 $ 1/\theta $ 並且對於分佈族來說是一個完全充分的統計量。那 $ T $ 從單參數指數族的樣本聯合密度的結構來看，競爭是否充分。但方差 $ T $ 直接找到可能有點棘手。