MLE、正則條件、有限和無限參數空間
我遇到的問題是弄清楚為什麼在下面指定的條件下 MLE 在可數參數空間中不再一致。
設置如下：我們考慮一個參數空間 $ \Theta \subseteq \mathbb R $ 和一組概率分佈， $ \mathcal P = {P_\theta: \theta \in \Theta} $ .
我們假設以下條件成立：
- 分佈 $ P_\theta $ 的觀察結果是不同的
- 分佈 $ P_\theta $ 有共同的支持。
- 觀察結果是 $ \mathbf X_n = {X_1,…,X_n} $ ， 在哪裡 $ X_i $ 具有概率密度 $ f(x_i| \theta) $ 關於 sigma-finite 測度 $ \mu $ .
我認為以下定理成立（例如，參見 Hogg 等人的 Theorem 6.1.1，Introduction to Mathematical Statistics（第 7 版））。此外，自始至終，我們表示 $ \theta_0 $ 生成數據的“true”參數。
**結果 1.**在條件 1. 到 3. 似然函數下 $$ L(\theta|\mathbf X_n) = \prod_{i=1}^n f(X_i|\theta) $$ 滿足 $$ P_{\theta_0}[L(\theta_0| \mathbf X_n) > L(\theta| \mathbf X_n)] \rightarrow 1\text{ as } n\rightarrow \infty $$ 對於任何固定 $ \theta\ne\theta_0 $ .
我想證明在相同的條件下，加上參數空間是有限的假設，最大化似然函數的估計量是一致的。此外，我想了解為什麼當參數空間至少可數無限時這個結果會失效。
所以，這是我對有限情況的嘗試證明。
作為 $ \Theta $ 是有限的，我們可以寫 $ \Theta = {\theta_0, \theta_1,…,\theta_m} $ ， 在哪裡 $ \theta_0 $ 是真正的參數。讓 $$ \hat\theta(\mathbf X_n) = \arg\max_{\theta\in \Theta}L(\theta| \mathbf X_n) $$ 成為 MLE。我們想證明有一個獨特的價值 $ \hat\theta(\mathbf X_n) $ 最大化可能性並且它傾向於 $ \theta_0 $ 概率為 $ n \rightarrow\infty $ .
對於每個 $ 1\le j\le m $ ， 讓 $ A_{jn} ={\mathbf X_n : L(\theta_0| \mathbf X_n)>L(\theta_j | \mathbf X_n)} $ . 那麼，上面的結果表明 $ P_{\theta_0}[A_{jn}] \rightarrow 1 $ 作為 $ n\rightarrow\infty $ 對所有人 $ j $ . 有待證明的是 $ P_{\theta_0}[A_{1n}\cap A_{2n}\cap \cdots \cap A_{mn}] \rightarrow 1 $ 作為 $ n\rightarrow\infty $ 也是。足以證明這個結果適用於任何 $ A_{jn}\cap A_{j’n} $ , $ j\ne j' $ （因為我們可以重複應用這個結果 $ m-1 $ 次）。我們有 $$ P_{\theta_0}[A_{jn}\cap A_{j’n}] = 1- P_{\theta_0}[A_{jn}^C\cup A_{j’n}^C] \ge 1 - P_{\theta_0}[A_{jn}^C] - P_{\theta_0}[A_{j’n}^C] $$ 對所有人 $ n $ 通過概率測度的子可加性。因此， $$ P_{\theta_0}[A_{jn}\cap A_{j’n}] = 1 $$ 作為 $ n\rightarrow\infty $ ， 自從 $ P_{\theta_0}[A_{jn}^C] $ 和 $ P_{\theta_0}[A_{j’n}^C] $ 收斂到零。因此， $$ P_{\theta_0}[A_{1n}\cap A_{2n}\cap \cdots \cap A_{mn}] \rightarrow 1. $$ 換句話說，似然函數在 $ \theta_0 $ 同時（嚴格）大於任何其他可能的參數值收斂到一。但是，根據條件 1，該值必須是唯一的，並且概率收斂於 1。因此，通過選擇 $ \theta $ 最大化似然函數——即， $ \hat\theta(\mathbf X_n) $ —我們將選擇真實的參數值 $ \theta_0 $ 概率收斂到一。這相當於聲明 $$ P_{\theta_0}[\hat\theta(\mathbf X_n) = \theta_0] \rightarrow 1 $$ 作為 $ n\rightarrow\infty $ . 因此， $ \hat\theta(\mathbf X_n) $ 是一致的。
現在，我想知道為什麼這個結果在 $ \Theta $ 被假定為（可數地）無限。到目前為止，我的嘗試如下：
假設 $ \Theta $ 是可數無限的。然後， $$ \begin{aligned} \lim_{n\rightarrow\infty} P_{\theta_0}\left[\bigcap_{j=1}^\infty A_{jn}\right] &= 1 - \lim_{n\rightarrow\infty} P_{\theta_0}\left[\bigcup_{j=1}^\infty A_{jn}^C \right] = 1 - \lim_{n\rightarrow\infty} P_{\theta_0}\left[\lim_{m\rightarrow\infty} \bigcup_{j=1}^m A_{jn}^C \right] \ &= 1 - \lim_{n\rightarrow\infty} \lim_{m\rightarrow\infty} P_{\theta_0}\left[ \bigcup_{j=1}^m A_{jn}^C \right] \end{aligned} $$ 最後一步從哪裡開始 $ B_{mn} = \bigcup_{j=1}^m A_{jn}^C $ 是一個遞增的序列 $ m $ 和概率測度的連續性。如果我們可以互換這兩個限制，那麼 $ \lim_{n\rightarrow\infty}P_{\theta_0}\left[\bigcap_{j=1}^\infty A_{jn}\right] =1 $ 至於每個固定 $ m $ , $ \lim_{n\rightarrow\infty}P_{\theta_0}\left[\bigcup_{j=1}^m A_{jn}^C\right] = 0 $ . 然而，對於任何有限 $ n $ ， 我們可以找 $ \epsilon(n)>0 $ 這樣 $$ \lim_{m\rightarrow\infty} P_{\theta_0}[B_{mn}] > \epsilon(n). $$
如果有可能找到一個 $ \epsilon $ 不依賴於 $ n $ 或者如果我們可以證明 $ \inf_n \epsilon(n) > 0 $ ，我認為這將證明結果。但是，我不確定我們是否可以展示這一點。
我在正確的軌道上嗎？任何建議都會有所幫助。謝謝！
您不希望證明 MLE永遠不會與無限參數空間一致，因為那不是真的。有許多具有可數無限參數空間的設置具有一致的 MLE。甚至有許多具有一致 MLE 的參數空間不可數的設置——通常 $ N(\mu,\sigma^2) $ 模型與真實 $ \mu $ 和積極的 $ \sigma^2 $ ， 例如。問題是當參數空間無限大時，您需要一些額外的條件；這不是自動的。
你是對的，問題是是否 $ \inf_n \epsilon(n)>0 $ ，而且它不是（通常很明顯）。事實上，它可能為零，也可能不是，取決於模型的細節；集合論沒有一個普遍的結果。
如果您在參數空間是實數（或 $ \mathbb{R}^d $ )，它們通常假設密度依賴於某些平滑度 $ \theta $ ，然後有一些方法來確保 $ \hat\theta $ 最終在某個緊湊的社區 $ \theta_0 $ . 緊湊性 + 平滑性可替代有限性，這意味著您不必考慮每個 $ A_{jn} $ 分別地。