Delta-Method

漸近正態變量的平方怎麼可能也是漸近正態的?

  • July 6, 2020

Delta 方法指出,給定

$$ \sqrt{n} (X_n - \mu) \xrightarrow{d} N(0, 1) $$

然後

$$ \sqrt{n} (g(X_n) - g(\mu)) \xrightarrow{d} N(0, g'(\mu)) $$

我很驚訝這可能是真的。

作為反例,考慮一系列隨機變量 $ {X_n} $ 其中所有元素 $ X $ 是正態分佈的 $ N(\mu, 1/\sqrt{n}) $ . 這意味著 $ \sqrt{n} (X_n - \mu) \xrightarrow{d} N(0, 1) $ ,根據 Delta 方法的要求。

和 $ g(X) = X^2 $ , 序列中的每個元素 $ {g(X_n)} $ 是正態的平方,因此應該具有卡方分佈。順序怎麼可能 $ {g(X_n)} $ 正如 Delta 方法所聲稱的那樣變得漸近正常?

即使我使用了具體的例子 $ g(X) = X^2 $ 在這裡,我的困惑適用於任何 $ g(X) $ 如 $ 1/X, \exp(X) $ 等。 $ {1/X_n} $ 或者 $ {\exp(X_n)} $ 變得漸近正常?

關於 delta 方法的真正含義似乎有些混亂。

這個陳述基本上是關於漸近正態估計量的函數的漸近分佈。在您的示例中,函數定義在 $ X $ ,正如您所注意到的,它可以遵循任何分佈!經典的 Delta 方法基本上是關於漸近正態估計量函數漸近分佈的陳述(在樣本均值的情況下,對於任何 $ X $ 滿足 CLT 的假設)。所以一個例子可能是 $ f(X_n) = X_n^2 = \bigg(\frac{1}{n}\sum_i X_i\bigg)^2 $ . Delta 方法說,如果 $ X_n $ 服從均值的正態分佈 $ \theta $ , 然後 $ f(X_n) $ 也服從均值的正態分佈 $ f(\theta) $ .

明確回答您的情況 $ g(X_n) = X_n^2 $ ,重點是 $ g(X_n) $ 不是卡方。假設我們畫 $ X_i $ iid 來自某個分佈,並假設 $ Var(X_i) = 1 $ . 讓我們考慮一下序列 $ {g(X_n)}_n $ , 在哪裡 $ g(X_n) = X_n^2 = \bigg(\frac{1}{n}\sum_i X_i\bigg)^2 $ . 根據 CLT,我們有 $ \sqrt{n}(X_n - \mu) \xrightarrow{d} N(0,1) $ (或者,在您的帖子中,您只是自動獲得該發行版,而無需訴諸 CLT)。但 $ X_n^2 $ 不是卡方,因為 $ X_n $ 不標準正常。反而, $ \sqrt{n}(X_n - \mu) $ 是標準正態(通過假設分佈 $ X_n $ 或由 CLT),因此我們有 $$ \big(\sqrt{n}(X_n - \mu)\big)^2 \xrightarrow{d} \chi^2 $$

但是您對分發的任何內容都不感興趣。您對分佈感興趣 $ X_n^2 $ . 為了探索,我們可以考慮一下分佈 $ X_n^2 $ . 那麼如果 $ Z\sim N(\mu,\sigma^2) $ , 然後 $ \frac{Z^2}{\sigma^2} $ 是具有一個自由度和非中心參數的縮放非中心卡方分佈 $ \lambda = (\frac{\mu}{\sigma})^2 $ . 但是在您的情況下(根據您的假設或通過 CLT),我們有 $ \sigma^2 = 1/n $ , 所以 $ nX_n^2 $ 遵循非中心卡方分佈 $ \lambda = \mu^2n $ 所以 $ \lambda \to \infty $ 作為 $ n\to\infty $ . 我不會通過證明,但如果你查看我在非中心卡方分佈上鍊接的 wiki 頁面,在相關分佈下,你會注意到 $ Z $ 非中樞氣 $ k $ 自由度和非中心參數 $ \lambda $ , 作為 $ \lambda \to \infty $ 我們有

$$ \frac{Z - (k+\lambda)}{\sqrt{2(k+2\lambda)}} \xrightarrow{d} N(0,1) $$

在我們的案例中, $ Z = nX_n^2,\lambda = \mu^2n,k = 1 $ , 所以我們有 $ n $ 走向無窮大,我們有 $$ \frac{nX_n^2 - (1+\mu^2n)}{\sqrt{2(1+2\mu^2n)}} = \frac{n(X_n^2 - \mu^2)

  • 1}{\sqrt{2+4\mu^2n}} \xrightarrow{d} N(0,1) $$

我不會是正式的,但因為 $ n $ 變得任意大,很明顯

$$ \frac{n(X_n^2 - \mu^2) - 1}{\sqrt{2+4\mu^2n}} \approx \frac{n(X_n^2 - \mu^2)}{2\mu\sqrt{n}} = \frac{1}{2\mu}\sqrt{n}(X_n^2 - \mu^2)\xrightarrow{d} N(0,1) $$

並使用普通屬性,因此我們有 $$ \sqrt{n}(X_n^2 - \mu^2)\xrightarrow{d} N(0,4\mu^2) $$

看起來還不錯!Delta又告訴了我們什麼?好吧,通過 Delta,我們應該擁有它 $ g(\theta) = \theta^2 $ , $$ \sqrt{n}(X_n^2 - \mu^2)\xrightarrow{d} N(0,\sigma^2 g'(\theta)^2) = N(0,(2\theta)^2) = N(0,4\mu^2) $$

甜的!但是所有這些步驟都是一種痛苦。幸運的是,delta 方法的單變量證明只是使用一階泰勒展開來近似所有這些,就像在Delta 的 wiki 頁面中一樣,它只是在那之後的幾個步驟。從那個證明中,你可以看到你真正需要的只是估計 $ \theta $ 漸近正態並且 $ f'(\theta) $ 是明確定義且非零的。在它為零的情況下,您可以嘗試進一步進行泰勒展開,因此您仍然可以恢復漸近分佈。

引用自:https://stats.stackexchange.com/questions/475837

comments powered by Disqus

相關問答