是 MLE 的θθtheta漸近正態時(X,和)∼和-(x/θ+θy)1x,y>0(X,是)∼和−(X/θ+θ是)1X,是>0(X,Y)sim e^{-(x/theta+theta y)}mathbf1_{x,y>`0}?
認為 $ (X,Y) $ 有pdf
$$ f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,,\theta>0 $$
樣品密度 $ (\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n} $ 因此，從這個人口中抽取
$$ \begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,,\theta>0 \end{align} $$
的最大似然估計 $ \theta $ 可以導出為
$$ \hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y} $$
我想知道這個 MLE 的極限分佈是否正常。
很明顯，有足夠的統計量 $ \theta $ 基於樣本是 $ (\overline X,\overline Y) $ .
現在我會說 MLE 是漸近正態的，毫無疑問，如果它是正則單參數指數族的成員。我不認為是這種情況，部分原因是我們對一維參數有足夠的二維統計量（如 $ N(\theta,\theta^2) $ 分佈，例如）。
利用這個事實 $ X $ 和 $ Y $ 實際上是獨立的指數變量，我可以證明 $ \hat\theta $ 是這樣的
$$ \frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n} $$
我不可能從這裡繼續找到限制分佈。
相反，我可以通過 WLLN 爭辯說 $ \overline X\stackrel{P}\longrightarrow\theta $ 和 $ \overline Y\stackrel{P}\longrightarrow 1/\theta $ ， 以便 $ \hat\theta\stackrel{P}\longrightarrow\theta $ .
這告訴我 $ \hat\theta $ 分佈收斂到 $ \theta $ . 但這並不奇怪，因為 $ \hat\theta $ 是一個“好”的估計量 $ \theta $ . 而且這個結果還不足以得出結論是否像 $ \sqrt n(\hat\theta-\theta) $ 是否漸近正態。我也無法使用 CLT 提出合理的論點。
所以這裡的父分佈是否滿足 MLE 的極限分佈為正態的正則性條件仍然存在一個問題。
漸近正態性的直接證明：
這裡的對數似然是
$$ L = -\frac {n \bar x}{\theta} - \theta n \bar y $$
一階導數和二階導數是
$$ \frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,;;;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3} $$
MLE $ \hat \theta_n $ 滿足
$$ \frac {\partial L(\hat \theta_n)}{\partial \theta }=0 $$
在真值周圍應用平均值擴展 $ \theta_0 $ 我們有
$$ \frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0 $$
對於一些 $ \tilde \theta_n $ 介於兩者之間 $ \hat \theta_n $ 和 $ \theta_0 $ . 重新安排我們有，
$$ (\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta } $$
但在我們的單參數情況下，倒數只是倒數，因此，還插入導數的特定表達式，
$$ (\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right) $$
$$ \implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right) $$
$$ \implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) $$
總和的方差為
$$ \text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2 $$
操縱我們可以寫的表達式，使用 $ S_n $ 對於 iid 元素的總和，
$$ \sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0} $$
$$ \sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}} $$
更重要的是，我們有 $ E(x_i-\theta_0^2 y_i) = 0 $ ， 所以 $ E(S_n)=0 $ . 因此，我們有了經典 CLT 的主題，並且可以驗證 Lindeberg 條件是否滿足。它遵循
$$ \frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1) $$
由於估計量的一致性，我們也有
$$ \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}} $$
根據斯盧茨基定理，我們得出
$$ \sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2) $$
好的。信息加倍，方差減半（與我們估計的情況相比 $ \theta_0 $ 基於來自單個隨機變量的樣本）。
**PS：**事實上，在上面的表達式中 $ \theta_0 $ 出現在分母中，指向@whuber 的評論，即 MLE 的漸近正態性需要未知參數遠離參數空間的邊界（在我們的例子中，遠離零）。