Distributions

為什麼指數族不包括所有分佈?

  • July 31, 2017

我在看書:

Bishop,模式識別和機器學習 (2006)

它將指數族定義為以下形式的分佈(方程式 2.194): $$ p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp {\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)} $$ 但我認為沒有任何限制 $ h(\mathbf x) $ 或者 $ \mathbf u(\mathbf x) $ . 這是否意味著任何分佈都可以採用這種形式,通過適當的選擇 $ h(\mathbf x) $ 和 $ \mathbf u(\mathbf x) $ (實際上只有一個必須正確選擇!)?那麼為什麼指數族不包括所有概率分佈呢?我錯過了什麼?

最後,我感興趣的一個更具體的問題是:伯努利分佈是否屬於指數族維基百科聲稱它是,但由於我顯然對這裡的某些事情感到困惑,我想看看為什麼。

首先,請注意您的標題中有一個術語問題:指數族似乎意味著一個指數族。你應該說一個指數族,有很多指數族。

好吧,您的定義的一個結果:$$ p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp {\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)} $$是由參數索引的分佈族的支持度 $ \eta $ 不依賴 $ \eta $ . (概率分佈的支持度是概率為 1 的最小集合的(閉包),或者換句話說,分佈所在的位置。)因此,根據參數給出支持度分佈族的反例就足夠了,最簡單的例子是以下均勻分佈族: $ \text{U}(0, \eta), \quad \eta > 0 $ . (@Chaconne 的另一個答案給出了一個更複雜的反例)。

並非所有分佈都是指數族的另一個不相關的原因是指數族分佈總是具有現有的矩生成函數。並非所有發行版都有 mgf。

引用自:https://stats.stackexchange.com/questions/295363

comments powered by Disqus