整體分佈的大數定律
我知道關於手段的大數定律。但是，直觀地說，隨著試驗次數達到無窮大，我不僅希望平均值，而且觀察到的相對頻率（或直方圖，如果我們有連續分佈）接近理論 PMF/PDF。
- 我的直覺錯了嗎？總是或僅適用於某些退化的情況（例如 Cauchy）？
- 如果沒有，該法律是否有特殊名稱？
雖然大數定律是以“均值”為框架的，但這實際上為您提供了很大的靈活性來顯示其他類型數量的收斂。特別是，您可以使用指標函數來獲得任何指定事件*概率的收斂結果。*要了解如何做到這一點，假設我們從一個序列開始 $ X_1,X_2,X_3 ,… \sim \text{IID } F_X $ 請注意，大數定律說（在各種概率意義上）我們有以下收斂：
$$ \frac{1}{n} \sum_{i=1}^n X_i \rightarrow \mathbb{E}(X) \quad \quad \quad \quad \quad \text{as } n \rightarrow \infty. $$
在下面的部分中，我將展示如何使用這個基本結果來證明經驗 CDF 在某些有用的意義上收斂到基礎分佈的真實 CDF。這還將向您展示如何以創造性的方式應用大數定律來證明其他看起來不像數量“均值”（但實際上是）的事物的收斂結果。
**經驗 CDF 到真實 CDF 的逐點收斂：**在您的問題中，您對經驗分佈函數到真實分佈函數的收斂感興趣 $ F_X $ . 讓我們從一個特定的點開始 $ x $ 通過檢查值的序列 $ Y_1,Y_2,Y_3 ,… $ 被定義為 $ Y_i \equiv \mathbb{I}(X_i \leqslant x) $ . 後一個序列也是獨立同分佈的，所以大數定律說（在各種概率意義上）我們有以下收斂：
$$ \frac{1}{n} \sum_{i=1}^n Y_i \rightarrow \mathbb{E}(Y) \quad \quad \quad \quad \quad \text{as } n \rightarrow \infty. $$
現在，在這一點上 $ x $ 序列的經驗分佈函數 $ \mathbf{X} $ 分佈的真實 CDF 可以分別寫為：
$$ \begin{align} \hat{F}n(x) &\equiv \frac{1}{n} \sum{i=1}^n \mathbb{I}(X_i \leqslant x) = \frac{1}{n} \sum_{i=1}^n Y_i, \[12pt] F_X(x) &\equiv \mathbb{P}(X_i \leqslant x) = \mathbb{E}(Y). \[6pt] \end{align} $$
（後一個結果源於以下事實： $ \mathbb{E}(Y) = \mathbb{P}(Y=1) $ 對於任何指標變量 $ Y $ .) 因此，我們可以根據大數定律重新構建先前的收斂語句，以給出逐點收斂結果：
$$ \hat{F}_n(x) \rightarrow F_X(x) \quad \quad \quad \quad \quad \text{as } n \rightarrow \infty. $$
您可以看到，這表明經驗 CDF 逐點收斂到 IID 數據的真實 CDF；這是大數定律的直接結果。具體來說，弱大數定律建立概率的逐點收斂，而強大數定律幾乎肯定地建立逐點收斂。
**經驗 CDF 到真實 CDF 的一致收斂：**為了比上述結果更進一步，您需要使用大數一致定律（或其他一些類似定理）來建立經驗 CDF 到真實 CDF 的一致收斂。如果您使用大數統一定律，那麼您可以在對基礎 CDF 的一些限制性假設下建立經驗 CDF 的統一收斂。然而，實際上有一個更強大的定理，稱為Glivenko-Cantelli 定理，它為任何 IID 數據序列建立了經驗 CDF 到真實 CDF（幾乎可以肯定）的一致收斂。即，定理證明：
$$ \sup_x | \hat{F}_n(x) - F_X(x) | \overset{\text{a.s}}{\rightarrow} 0 \quad \quad \quad \quad \quad \text{as } n \rightarrow \infty. $$
如果您想了解有關這部分的更多信息，值得查看大數一致定律和 Glivenko-Cantelli 定理的證明，以了解它們如何工作以建立一致收斂。前一個定理更廣泛，但它對輸入函數有一些限制。後一個定理特別適用於 IID 數據的經驗 CDF，但它在沒有任何額外假設的情況下（幾乎肯定）建立了一致收斂。