Normal-Distribution

考慮總和𝑛nn均勻分佈[0,1][0,1][0,1], 或者𝑍𝑛和nZ_n.為什麼PDF中的風口浪尖𝑍𝑛和nZ_n消失𝑛≥3n≥3n geq 3?

  • October 30, 2012

我一直在想這個。我覺得它發生得如此突然有點奇怪。基本上,為什麼我們只需要三件製服像它一樣平滑?為什麼平滑發生的速度如此之快?

:

2

:

3

(圖片無恥地從 John D. Cook 的博客中竊取:http: //www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/

為什麼不需要,比如說,四套制服?還是五個?或者…?

我們可以採取各種方法來解決這個問題,其中任何一種方法對某些人來說都可能很直觀,而對其他人來說則不太直觀。為了適應這種變化,這個答案調查了幾種這樣的方法,涵蓋了數學思想的主要部分——分析(無限和無窮小)、幾何/拓撲(空間關係)和代數(符號操作的正式模式)——作為以及概率本身。它以統一所有四種方法的觀察而告終,證明這裡有一個真正的問題需要回答,並準確地表明問題是什麼。每種方法都以自己的方式更深入地了解獨立均勻變量之和的概率分佈函數的形狀的性質。


背景

制服_分佈有幾個基本的描述。什麼時候有這樣的分佈,

  1. 那個機會存在於一個可測量的集合中只是測量(長度), 寫.
  2. 由此可知,累積分佈函數 (CDF) 為

CDF 3. 作為 CDF 的導數的概率密度函數 (PDF) 是為了和否則。(未定義在和.)

PDF格式


來自特徵函數的直覺(分析)

任意隨機變量的特徵函數(CF)是期望(在哪裡是虛數單位,)。使用均勻分佈的 PDF,我們可以計算

CF 是 PDF 的傅里葉變換(版本),. 關於傅里葉變換的最基本定理是:

  • 自變量總和的 CF是他們的 CF 的產物

  • 當原始 PDF是連續的並且有界,可以從 CF 中恢復通過密切相關的傅里葉變換版本,

  • 什麼時候是可微的,它的導數可以在積分符號下計算:

要明確定義,最後一個積分必須絕對收斂;那是,

必須收斂到一個有限值。相反,當它收斂時,由於這些反演公式,導數無處不在。

現在很清楚 PDF 對於總和的可微性統一變量是:從第一個項目符號開始,iid 變量之和的 CF 是其中一個變量的 CF 提升到功率,這裡等於. 分子是有界的(它由正弦波組成),而分母是. 我們可以將這樣的被積函數乘以 它仍然會絕對收斂並且有條件地收斂. 因此,第三個項目符號的重複應用表明 PDF 的總和均勻的變量將連續時間可微,並且在大多數地方,它將是次可微。

n=10 的 CF

藍色陰影曲線是總和的 CF 實部絕對值的對數對數圖iid 統一變量。紅色虛線是漸近線;它的斜率是,表明 PDF 是次可微。作為參考,灰色曲線繪製了形狀相似的高斯函數(普通 PDF)的 CF 的實部。


來自概率的直覺

讓和是獨立的隨機變量,其中有製服分配。考慮一個狹窄的區間. 我們分解的機會進入機會足夠接近這個間隔乘以機會尺寸正好適合放置在這個區間內,鑑於足夠接近:

最終的等式來自 PDF 的表達式. 兩邊除以並以極限為給

換句話說,添加一個 Uniform多變的對任何變量更改pdf進入一個有差異的 CDF. 因為 PDF 是 CDF 的導數,這意味著每次我們添加一個獨立的統一變量到,生成的 PDF 比以前更可微分一倍。

讓我們應用這種洞察力,從統一變量開始. 原始 PDF 在或者: 那裡不連續。的PDF不可微分,, 或者,但在這些點上它必須是連續的,因為它是 PDF 的積分差. 添加另一個獨立的統一變量: 的PDF 微分於,,, 和- 但它不一定在這些點上有*二階導數。*等等。


幾何直覺

CDF 在的總和iid 均勻變量等於單位超立方體的體積位於半空間內. 情況為變量顯示在這裡,與設置在,, 接著.

3D立方體

作為從進步通過, 超平面交叉頂點在,. 每次橫截面的形狀都會發生變化:圖中首先是三角形(a-simplex),然後是六邊形,然後是三角形。 為什麼 PDF 在這些值處沒有急劇彎曲?

要理解這一點,首先考慮. 在這裡,超平面切斷一個-單純形。全部單純形的尺寸與,因此它的“面積”與. 這方面的一些符號稍後會派上用場。讓成為“單位階躍函數”

如果不是因為超立方體的其他角的存在,這種縮放將無限期地繼續下去。面積圖-simplex 看起來像下面的藍色實線曲線:它在負值處為零並且等於在正面,方便寫. 它有一個“扭結”的秩序在原點,從某種意義上說,所有通過順序的衍生物存在並且是連續的,但是順序的左導數和右導數存在但在原點上不一致。

(該圖中顯示的其他曲線是(紅色的), (金),和 (黑色的)。他們在案件中的角色下文將進一步討論。)

簡單面積圖

了解什麼時候發生十字架,讓我們詳細研究一下這個案例,所有幾何都發生在一個平面上。我們可以將單位“立方體”(現在只是一個正方形)視為像限的線性組合,如下所示:

象限

第一個像限出現在左下方的面板中,呈灰色。的價值是,確定所有五個面板中顯示的對角線。CDF 等於右側顯示的黃色區域。這個黃色區域包括:

  1. 左下方面板中的三角形灰色區域,
  2. 減去左上面板中的三角形綠色區域,
  3. 減去中下部面板中的三角形紅色區域,
  4. 加上中間上部面板中的任何藍色區域(但沒有任何這樣的區域,直到超過).

這些中的每一個面積是三角形的面積。第一個比例像,接下來的兩個為零並以其他方式縮放, 最後一個為零否則像. 該幾何分析已確定 CDF 與= ; 等效地,PDF與三個函數的總和成正比,, 和(它們每個都線性縮放時)。該圖的左面板顯示了他們的圖表:顯然,他們都是原始圖表的版本, 但 (a) 由,, 和右側的單位和 (b) 重新縮放,, 和, 分別。

n=2 的圖表

右側面板顯示了這些圖的總和(實心黑色曲線,標準化為具有單位面積:這正是原始問題中顯示的有角度的 PDF。

現在我們可以理解任何 iid 統一變量總和的 PDF 中“扭結”的性質。 它們都與發生在在函數中,可能重新調整,並轉移到整數對應的超平面穿過超立方體的頂點。為了,這是一個可見的方向變化:在是而它的左導數是. 為了,這是方向的連續變化,但是二階導數的突然(不連續)變化。對於一般, 會有通過階的連續導數但在衍生物。


代數操作的直覺

計算 CF 的積分、概率分析中條件概率的形式,以及將超立方體合成為像限的線性組合,都表明返回原始均勻分佈並將其重新表達為更簡單事物的線性組合. 確實,它的PDF可以寫

讓我們介紹移位運算符: 它作用於任何函數通過將其圖形向右移動一個單位:

那麼,形式上,對於統一變量的 PDF我們可以寫

總和的 PDFiid制服是卷積與自己次。這是從隨機變量和的定義得出的:兩個函數的捲積和是函數

很容易驗證卷積與. 只需將積分變量從到:

對於總和的 PDFiid制服,我們現在可以代數寫

(其中“power”表示重複卷積,而不是逐點乘法!)。現在是一種直接的、基本的整合,給予

剩下的是代數,因為二項式定理適用(就像它在任何實數上的交換代數中一樣):

因為只是改變了它的論點, 這展示了 PDF作為移位版本的線性組合,正如我們從幾何上推導出來的:

(約翰庫克稍後在他的博客文章中引用了這個公式,使用符號為了.)

因此,因為處處是平滑函數,PDF 的任何奇異行為只會發生在是單數(顯然只是) 並且在那些向右移動的地方. 因此,這種奇異行為的性質——平滑程度——將完全一樣地點。

說明這是圖片,顯示(在左側面板中)總和中的各個項和(在右側面板中)部分總和,最終以總和本身(黑色實線):

繪製 n=8


結束評論

值得注意的是,最後一種方法最終產生了一個緊湊、實用的表達式,用於計算總和的 PDFiid 統一變量。(類似地獲得了 CDF 的公式。)

中心極限定理在這裡沒什麼可說的。畢竟,iid二項式變量的總和收斂到正態分佈,但該總和始終是離散的:它甚至根本沒有 PDF!我們不應該希望任何關於 PDF 的“扭結”或其他可區分性度量的直覺來自 CLT。

引用自:https://stats.stackexchange.com/questions/41467

comments powered by Disqus