Moments

您如何用外行的術語解釋矩生成函數(MGF)?

  • October 6, 2016

什麼是矩生成函數 (MGF)?

你能用外行的話和一個簡單易懂的例子來解釋它嗎?

請盡可能限制使用正式的數學符號。

讓我們假設沒有方程的直覺是不可能的,並且仍然堅持將數學歸結為最本質的東西以了解正在發生的事情:我們試圖獲得統計矩,在強制性參考物理學之後,我們定義為**隨機變量的冪的期望值。**對於連續隨機變量,原始 $ k $ - 時刻是由LOTUS

$$ \begin{align}\large \color{red}{\mathbb{E}\left[{X^k}\right]} &= \displaystyle\int_{-\infty}^{\infty}\color{blue}{X^k},,\color{green}{\text{pdf}},,,dx\tag{1}\end{align} $$

矩生成函數,$$ M_X(t):=\mathbb E\big[e^{tX}\big], $$是一種**繞過這個積分(Eq.1)**的方法,而是執行:

$$ \begin{align} \large \color{blue}{\mathbb{E}\left[e^{,tX}\right]}&=\displaystyle \int_{-\infty}^{\infty}\color{blue}{e^{tX}},\color{green}{\text{pdf}}, dx\tag{2}\end{align} $$

為什麼?因為它更容易,並且通過擴展Maclaurin 系列可以看到 MGF 的奇妙特性 $ \color{blue}{e^{,tX}} $

$$ e^{tX}=1+\frac{ X }{1!}, t +\frac{ X^{2} }{2!}t^{2} +\frac{ X^{3} }{3!} t^{3} +\cdots $$

取本次冪級數雙方的期望:

$$ \begin{align} M_X(t) &= \color{blue}{\mathbb{E}\left[e^{,tX}\right]} \[1.5ex] &=1 + \frac{\color{red}{\mathbb{E} \left[X\right]}}{1!} , t , + \frac{\color{red}{\mathbb{E} \left[X^2\right]}}{2!} , t^2 , + \frac{\color{red}{\mathbb{E} \left[X^3\right]}}{3!} , t^3 , + \cdots\tag{3} \end{align} $$

這些時刻似乎“棲息”在這個多項式“晾衣繩”上,準備好通過簡單的微分來剔除 $ k $ 一旦我們經歷了更容易的積分(在等式(2)中),時間和評估為零**!**當 pdf 為指數時,它更容易集成這一事實最為明顯。

要恢復 $ k $ -時刻:

$$ M_X^{(k)}(0)=\frac{d^k}{dt^k}M_X(t)\Bigr|_{t=0} $$

最終需要區分的事實使它不是免費的午餐 - 最後它是pdf的雙邊拉普拉斯變換,指數中的符號發生了變化:

$$ \mathcal L {\text{pdf}(x)}(s) =\int_{-\infty}^{\infty}e^{-sx}\text{pdf}(x) dx $$

這樣$$ M_X(t)=\mathcal L{\text{pdf}(x)}(-s)\tag 4. $$

實際上,這為我們提供了通往直覺的物理途徑。拉普拉斯變換作用於 $ \color{green}{\text{pdf}} $ 並將其分解為片刻。與傅里葉變換的相似性是不可避免的:FT 將函數映射到實線上的新函數,而拉普拉斯將函數映射到復平面上的新函數。傅里葉變換將函數或信號表示為一系列頻率,而拉普拉斯變換將函數解析為它的。事實上,獲得矩的另一種方式是通過傅里葉變換(特徵函數)。拉普拉斯變換中的指數項通常為 $ e^{-st} $ 和 $ s=\sigma + i,\omega $ ,對應於實指數和虛正弦曲線,並產生如下


[摘自Steven W. Smith 的《科學家和工程師信號處理指南》 ]


因此 $ M_X(t) $ 函數分解 $ \text{pdf} $ 以某種方式進入其“組成頻率”時 $ \sigma=0. $ 從等式。(4):

$$ \begin{align}\require{cancel} M_X(t)&=\mathbb E\big[e^{-sX}\big]\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-sx}},\text{pdf}(x), dx\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-(\sigma+i\omega)x}},\text{pdf}(x), dx\[2ex] &=\displaystyle \int_{-\infty}^{\infty}\cancel{e^{-\sigma x}},\color{red}{e^{-i\omega x},\text{pdf}(x), dx} \end{align} $$

這給我們留下了紅色部分錶達式的不正確積分,對應於 pdf 的傅里葉變換。

通常,函數的拉普拉斯變換極點的直覺是它們提供函數的指數(衰減)和頻率分量(在本例中為 pdf)的信息。


回答關於從 $ X^k $ 到 $ e^{tx} $ ,這是一個完全戰略性的舉措:一種表達方式不遵循另一種表達方式。這是一個類比:我們有自己的汽車,每次需要處理一些事務時,我們都可以自由地開車進城(閱讀,整合 Eq $ (1) $ 無論每一個單獨的時刻有多艱難)。相反,我們可以做一些完全不同的事情:我們可以開車到最近的地鐵站(閱讀,解方程 $ (2) $ 一次),然後從那裡使用公共交通工具到達我們需要訪問的每個地方(閱讀,獲取任何 $ k $ 方程中積分的導數 $ (2) $ 提取任何一個 $ k $ - 我們需要的時刻,知道(感謝 Eq $ (3) $ )所有的時刻都“隱藏”在那裡,並通過區分和評估在 $ 0 $ .

引用自:https://stats.stackexchange.com/questions/238776

comments powered by Disqus