MLE、正則條件、有限和無限參數空間
我遇到的問題是弄清楚為什麼在下面指定的條件下 MLE 在可數參數空間中不再一致。
設置如下：我們考慮一個參數空間 Θ⊆R 和一組概率分佈， P=Pθ:θ∈Θ .
我們假設以下條件成立：
- 分佈 Pθ 的觀察結果是不同的
- 分佈 Pθ 有共同的支持。
- 觀察結果是 Xn=X1,…,Xn ， 在哪裡 Xi 具有概率密度 f(xi|θ) 關於 sigma-finite 測度 μ .
我認為以下定理成立（例如，參見 Hogg 等人的 Theorem 6.1.1，Introduction to Mathematical Statistics（第 7 版））。此外，自始至終，我們表示 θ0 生成數據的“true”參數。
**結果 1.**在條件 1. 到 3. 似然函數下 L(θ|Xn)=n∏i=1f(Xi|θ)
滿足 Pθ0[L(θ0|Xn)>L(θ|Xn)]→1 as n→∞對於任何固定 θ≠θ0 .
我想證明在相同的條件下，加上參數空間是有限的假設，最大化似然函數的估計量是一致的。此外，我想了解為什麼當參數空間至少可數無限時這個結果會失效。
所以，這是我對有限情況的嘗試證明。
作為 Θ 是有限的，我們可以寫 Θ=θ0,θ1,…,θm ， 在哪裡 θ0 是真正的參數。讓 ˆθ(Xn)=argmaxθ∈ΘL(θ|Xn)
成為 MLE。我們想證明有一個獨特的價值 ˆθ(Xn) 最大化可能性並且它傾向於 θ0 概率為 n→∞ .對於每個 1≤j≤m ， 讓 Ajn=Xn:L(θ0|Xn)>L(θj|Xn) . 那麼，上面的結果表明 Pθ0[Ajn]→1 作為 n→∞ 對所有人 j . 有待證明的是 Pθ0[A1n∩A2n∩⋯∩Amn]→1 作為 n→∞ 也是。足以證明這個結果適用於任何 Ajn∩Aj′n , j≠j′ （因為我們可以重複應用這個結果 m−1 次）。我們有 Pθ0[Ajn∩Aj′n]=1−Pθ0[ACjn∪ACj′n]≥1−Pθ0[ACjn]−Pθ0[ACj′n]
對所有人 n 通過概率測度的子可加性。因此， Pθ0[Ajn∩Aj′n]=1作為 n→∞ ， 自從 Pθ0[ACjn] 和 Pθ0[ACj′n] 收斂到零。因此， Pθ0[A1n∩A2n∩⋯∩Amn]→1.換句話說，似然函數在 θ0 同時（嚴格）大於任何其他可能的參數值收斂到一。但是，根據條件 1，該值必須是唯一的，並且概率收斂於 1。因此，通過選擇 θ 最大化似然函數——即， ˆθ(Xn) —我們將選擇真實的參數值 θ0 概率收斂到一。這相當於聲明 Pθ0[ˆθ(Xn)=θ0]→1作為 n→∞ . 因此， ˆθ(Xn) 是一致的。
現在，我想知道為什麼這個結果在 Θ 被假定為（可數地）無限。到目前為止，我的嘗試如下：
假設 Θ 是可數無限的。然後， limn→∞Pθ0[∞⋂j=1Ajn]=1−limn→∞Pθ0[∞⋃j=1ACjn]=1−limn→∞Pθ0[limm→∞m⋃j=1ACjn] =1−limn→∞limm→∞Pθ0[m⋃j=1ACjn]
最後一步從哪裡開始 Bmn=⋃mj=1ACjn 是一個遞增的序列 m 和概率測度的連續性。如果我們可以互換這兩個限制，那麼 limn→∞Pθ0[⋂∞j=1Ajn]=1 至於每個固定 m , limn→∞Pθ0[⋃mj=1ACjn]=0 . 然而，對於任何有限 n ， 我們可以找 ϵ(n)>0 這樣 limm→∞Pθ0[Bmn]>ϵ(n).如果有可能找到一個 ϵ 不依賴於 n 或者如果我們可以證明 infnϵ(n)>0 ，我認為這將證明結果。但是，我不確定我們是否可以展示這一點。
我在正確的軌道上嗎？任何建議都會有所幫助。謝謝！
您不希望證明 MLE永遠不會與無限參數空間一致，因為那不是真的。有許多具有可數無限參數空間的設置具有一致的 MLE。甚至有許多具有一致 MLE 的參數空間不可數的設置——通常 N(μ,σ2) 模型與真實 μ 和積極的 σ2 ， 例如。問題是當參數空間無限大時，您需要一些額外的條件；這不是自動的。
你是對的，問題是是否 infnϵ(n)>0 ，而且它不是（通常很明顯）。事實上，它可能為零，也可能不是，取決於模型的細節；集合論沒有一個普遍的結果。
如果您在參數空間是實數（或 Rd )，它們通常假設密度依賴於某些平滑度 θ ，然後有一些方法來確保 ˆθ 最終在某個緊湊的社區 θ0 . 緊湊性 + 平滑性可替代有限性，這意味著您不必考慮每個 Ajn 分別地。