Self-Study

聯合概率分佈需要多少個參數?

  • July 9, 2017

假設我們有離散隨機變量,比如說, 和和州,分別。

那麼聯合概率分佈將需要參數(我們不知道任何獨立關係)。考慮到鍊式法則,並考慮到您需要一個參數這一事實,,對於具有兩種狀態的每個節點的邊際分佈,以及對於那些有狀態,我們有

所以我們需要第一個條件概率分佈的參數(因為有前三個變量的組合,我們需要的參數每一個人),對於第二個, 對於第三個和最後一個。

所以……我們需要參數?

確實是這樣?

它需要 $ 3\times 2 \times 2 \times 3 = 36 $ 寫下這些變量所有可能值的概率分佈。它們是多餘的,因為它們必須相加 $ 1 $ . 因此(功能獨立)參數的數量是 $ 35 $ .

如果您需要更有說服力(這是一個相當揮手的論點),請繼續閱讀。


根據定義,這樣的隨機變量序列是一個可測量的函數

$$ \mathbf{X}=(X_1,X_2,X_3,X_4):\Omega\to\mathbb{R}^4 $$

在概率空間上定義 $ (\Omega, \mathcal{F}, \mathbb{P}) $ . 通過限制範圍 $ X_1 $ 到一組三個元素(“狀態”),你保證的範圍 $ \mathbf{X} $ 本身僅限於 $ 3\times 2\times 2 \times 3=36 $ 可能的值。任何概率分佈 $ \mathbf{X} $ 可以寫成一組 $ 36 $ 概率,每個值一個。概率公理強加 $ 36+1 $ 對這些概率的約束:它們必須是非負的( $ 36 $ 不等式約束)和總和為一(一個等式約束)。

反之,任何一組 $ 36 $ 滿足所有人的數字 $ 37 $ 約束給出了一個可能的概率度量 $ \Omega $ . 它是如何工作的應該很明顯,但是為了明確起見,讓我們引入一些符號:

  • 讓可能的值 $ X_i $ 是 $ a_i^{(1)}, a_i^{(2)}, \ldots, a_i^{(k_i)} $ 在哪裡 $ X_i $ 已 $ k_i $ 可能的值。
  • 讓非負數相加為 $ 1 $ , 有關聯 $ \mathbf{a}=(a_1^{(i_1)}, a_2^{(i_2)}, a_3^{(i_3)}, a_4^{(i_4)}) $ 被寫 $ p_{i_1i_2i_3i_4} $ .
  • 對於任何可能值的向量 $ \mathbf{a} $ 為了 $ \mathbf{X} $ ,我們知道(因為隨機變量是可測量的)$$ \mathbf{X}^{-1}(\mathbf{a}) = {\omega\in\Omega\mid \mathbf{X}(\omega)=\mathbf{a}} $$是一個可測集(在 $ \mathcal{F} $ )。定義$$ \mathbb{P}\left(\mathbf{X}^{-1}(\mathbf{a})\right) = p_{i_1i_2i_3i_4}. $$

檢查是微不足道的 $ \mathbb{P} $ 是一個 $ \mathcal{F} $ - 可測量的概率測度 $ \Omega $ .

所有這些的集合 $ p_{i_1i_2i_3i_4} $ , 和 $ 36 $ 下標、非負值和求和為單位,形成單位單純形 $ \mathbb{R}^{36} $ .

因此,我們在這個單純形的點和所有此類的所有可能概率分佈的集合之間建立了一種自然的一一對應關係。 $ \mathbf{X} $ (不管是什麼 $ \Omega $ 要么 $ \mathcal{F} $ 可能恰好是)。在這種情況下,單位單純形是 $ 36-1=35 $ 帶角的維子流形:該集合的任何連續(或可微分或代數)坐標係都需要 $ 35 $ 數字。


這種結構與 Efron、Tibshirani 和其他人用於研究 Bootstrap 的基本工具以及用於研究 M 估計器的影響函數密切相關。 它被稱為“抽樣表示”。

要查看連接,假設您有一批 $ 36 $ 數據點 $ y_1, y_2, \ldots, y_{36} $ . 引導樣本包括 $ 36 $ 隨機變量的獨立實現 $ \mathbf X $ 有一個 $ p_1=1/36 $ 相等的機會 $ y_1 $ , 一種 $ p_2=1/36 $ 相等的機會 $ y_2 $ ,依此類推:它是經驗分佈。

為了理解 Bootstrap 和其他重採樣統計的屬性,Efron等人考慮將其修改為其他分佈,其中 $ p_i $ 不再一定彼此相等。例如,通過改變 $ p_k $ 到 $ 1/36 + \epsilon $ 並改變所有其他 $ p_j $ ( $ j\ne k $ ) 經過 $ -\epsilon/35 $ 你獲得(對於足夠小的 $ \epsilon $ ) 表示超重數據值的分佈 $ X_k $ (什麼時候 $ \epsilon $ 是積極的)或低估它(當 $ \epsilon $ 是負數)甚至完全刪除它(當 $ \epsilon=-1/36 $ ),這導致了“折刀”。

因此,這種通過向量表示的所有加權重採樣可能性 $ \mathbf{p} = (p_1,p_2, \ldots, p_{36}) $ 允許我們將不同的重採樣方案可視化和推理為單位單純形上的點。價值的影響函數 $ X_k $ 對於任何(可微分的)泛函統計 $ t $ ,例如,簡單地與偏導數成正比 $ t(X) $ 關於 $ p_k $ .

參考

Efron 和 Tibshirani (1993),Bootstrap 簡介(第 20 和 21 章)。

引用自:https://stats.stackexchange.com/questions/290640

comments powered by Disqus