Normal-Distribution

標準正態分佈與 t 分佈

  • July 22, 2014

給定一個 IID 正態分佈樣本為了小而平均, 標準差, 樣本平均值和样本標準差(無偏估計形式)。我明白那個

但我無法將其與以下事實相協調

由於-分佈類似於標準正態分佈,但具有更高的方差(更小的峰值和更寬的尾部),這似乎表明樣本標準偏差系統地低估了總體標準差,使其實際上是一個有偏差的估計量。

實際上 $ s $ 不需要係統地低估 $ \sigma $ ; 即使那不是真的,這也可能發生。

照原樣, $ s $ 偏向於 $ \sigma $ (事實上 $ s^2 $ 是公正的 $ \sigma^2 $ 意思是 $ s $ 會偏向於 $ \sigma $ ,由於 Jensen 的不等式*,但這不是那裡發生的核心問題。


  • Jensen 不等式

如果 $ g $ 是一個凸函數, $ g\left(\text{E}[X]\right) \leq \text{E}\left[g(X)\right] $ 只有當 $ X $ 是恆定的或 $ g $ 是線性的。

現在 $ g(X)=-\sqrt{X} $ 是凸的,

所以 $ -\sqrt{\text{E}[X]} < \text{E}(-\sqrt{X}) $ , IE $ \sqrt{\text{E}[X]} > \text{E}(\sqrt{X}), $ , 暗示 $ \sigma>E(s) $ 如果隨機變量 $ s $ 不是一個固定常數。


編輯:一個不調用 Jensen 的更簡單的演示——

假設基礎變量的分佈有 $ \sigma>0 $ .

注意 $ \text{Var}(s) = E(s^2)-E(s)^2 $ 這種方差將始終為正 $ \sigma>0 $ .

因此 $ E(s)^2 = E(s^2)-\text{Var}(s) < \sigma^2 $ , 所以 $ E(s)<\sigma $ .


那麼主要問題是什麼?

讓 $ Z=\frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}} $

請注意,您正在處理 $ t=Z\cdot\frac{\sigma}{s} $ .

那個倒置 $ s $ 很重要。所以對方差的影響不是 $ s $ 小於 $ \sigma $ 平均而言(雖然是,非常輕微),但是否 $ 1/s $ 大於 $ 1/\sigma $ 平均而言(這兩件事不是一回事)。

它更大,在更大程度上比它的倒數更小。

也就是說 $ E(1/X)\neq 1/E(X) $ ; 事實上,根據 Jensen 不等式:

$ g(X) = 1/x $ 是凸的,所以如果 $ X $ 不是恆定的,

$ 1/\left(\text{E}[X]\right) < \text{E}\left[1/X\right] $

例如,考慮大小為 10 的正常樣本; $ s $ 比大約小 2.7% $ \sigma $ 平均而言,但 $ 1/s $ 大約大9.4% $ 1/\sigma $ 一般。所以即使在 n=10 我們做出了我們的估計 $ \sigma $ 大 2.7 個百分點** 所以 $ E(\widehat\sigma)=\sigma $ , 相應的 $ t=Z\cdot\frac{\sigma}{\widehat\sigma} $ 不會有單位方差 - 它仍然會比 1 大一點。

**(在其他 $ n $ 當然調整會有所不同)

由於 t 分佈類似於標準正態分佈,但具有更高的方差(更小的峰值和更寬的尾部)

如果您根據點差的差異進行調整,則峰值會更高。


為什麼隨著樣本量的增加 t 分佈會變得更正態?

標準正態分佈與 t 分佈

引用自:https://stats.stackexchange.com/questions/108781

comments powered by Disqus