為什麼兩個隨機變量之和是卷積?
很長一段時間我不明白為什麼兩個隨機變量的“和”是它們的捲積,而混合密度函數和 $ f(x) $ 和 $ g(x) $ 是 $ p,f(x)+(1-p)g(x) $ ; 算術和而不是它們的捲積。確切的短語“兩個隨機變量之和”在 google 中出現了 146,000 次,橢圓形如下。如果一個人認為 RV 產生單個值,那麼可以將該單個值添加到另一個 RV 單個值,這與卷積無關,至少不是直接的,所有這些都是兩個數字的和。然而,統計中的 RV 結果是值的集合,因此更準確的短語將類似於“來自兩個 RV 的相關單個值對的協調和的集合是它們的離散卷積”……並且可以近似為對應於那些 RV 的密度函數的捲積。更簡單的語言:2 RV’s of $ n $ - 樣本實際上是兩個 n 維向量,它們相加作為它們的向量和。
請詳細說明兩個隨機變量之和如何是卷積和和。
與隨機變量分佈相關的捲積計算都是全概率定律的數學表現。
在我的帖子中,“隨機變量”是什麼意思?,
一對隨機變量 $ (X,Y) $ 由一盒票組成,每張票上寫有兩個數字,一個指定的 $ X $ 和另外一個 $ Y $ . 這些隨機變量的總和是通過將每張票上的兩個數字相加而獲得的。
我在澄清隨機變量總和的概念上張貼了這樣一個盒子及其門票的圖片。
這種計算實際上是您可以分配給三年級教室的任務。(我提出這一點是為了強調操作的基本簡單性以及顯示它與每個人都理解的“總和”的含義有多麼緊密的聯繫。)
隨機變量之和的數學表達方式取決於您如何表示盒子的內容:
- 就概率質量函數(pmf)或概率密度函數(pdf)而言,就是卷積的運算。
- 就矩生成函數(mgf)而言,它是(元素)乘積。
- 就(累積)分佈函數(cdf)而言,它是一種與卷積密切相關的操作。(請參閱參考資料。)
- 就特徵函數(cf)而言,它是(元素)乘積。
- 就累積量生成函數(cgf)而言,它是總和。
其中前兩個是特殊的,因為盒子可能沒有 pmf、pdf 或 mgf,但它總是有 cdf、cf 和 cgf。
要了解為什麼卷積是計算隨機變量總和的 pmf 或 pdf 的合適方法,請考慮所有三個變量的情況 $ X, $ $ Y, $ 和 $ X+Y $ 有 pmf:根據定義,pmf 為 $ X+Y $ 在任何數量 $ z $ 給出總和所在框中的票的比例 $ X+Y $ 等於 $ z, $ 書面 $ \Pr(X+Y=z). $
總和的 pmf 是通過根據以下值分解票證集找到的 $ X $ 寫在它們上面,遵循總概率定律,它斷言*(不相交子集的)比例相加。* 從技術上講,
在盒子的不相交子集的集合中找到的票的比例是各個子集的比例之和。
它是這樣應用的:
門票比例 $ X+Y=z $ , 寫 $ \Pr(X+Y=z), $ 必須等於所有可能值的總和 $ x $ 的門票比例 $ X=x $ 和 $ X+Y=z, $ 書面 $ \Pr(X=x, X+Y=z). $
因為 $ X=x $ 和 $ X+Y=z $ 意味著 $ Y=z-x, $ 這個表達式可以直接用原始變量重寫 $ X $ 和 $ Y $ 作為
$$ \Pr(X+Y=z) = \sum_x \Pr(X=x, Y=z-x). $$
這就是卷積。
編輯
請注意,雖然卷積與隨機變量的總和相關聯,但卷積並不是隨機變量本身的捲積!
實際上,在大多數情況下,不可能對兩個隨機變量進行卷積。為此,它們的域必須具有額外的數學結構。這種結構是一個連續的拓撲群。
無需深入細節,只需說任意兩個函數的捲積即可 $ X, Y:G \to H $ 必須抽像地看起來像
$$ (X\star Y)(g) = \sum_{h,k\in G\mid h+k=g} X(h)Y(k). $$
(總和可以是一個整數,如果這要從現有的隨機變量中產生新的隨機變量, $ X\star Y $ 必須是可測量的 $ X $ 和 $ Y $ 是; 這就是必須考慮拓撲或可測量性的地方。)
此公式調用兩個操作。 一個是乘法 $ H: $ 乘以值必須是有意義的 $ X(h)\in H $ 和 $ Y(k)\in H. $ 另一個是添加 $ G: $ 添加元素必須是有意義的 $ G. $
在大多數概率應用中, $ H $ 是一組數字(實數或複數),乘法是通常的數字。 但 $ G, $ 樣本空間,通常根本沒有數學結構。 這就是為什麼通常甚至沒有定義隨機變量的捲積的原因。該線程中涉及卷積的對像是隨機變量分佈的數學表示。 考慮到這些隨機變量的聯合分佈,它們用於計算隨機變量總和的分佈。
參考
Stuart 和 Ord,Kendall 的高級統計理論,第 1 卷。 第五版,1987 年,第 1、3 和 4 章(頻率分佈、矩和累積量以及特徵函數)。