Maximum-Likelihood

MLE 是否需要 iid 數據?還是只是獨立參數?

  • May 26, 2012

使用最大似然估計 (MLE) 估計參數涉及評估似然函數,它將樣本 (X) 出現的概率映射到給定分佈族 (P(X=x|θ) 的參數空間 (θ) 上的值 (x) ) 超過 θ 的可能值(注意:我是對的嗎?)。我見過的所有示例都涉及通過取 F(X) 的乘積來計算 P(X=x|θ),其中 F 是局部分佈θ 和 X 的值是樣本(向量)。

既然我們只是將數據相乘,那麼數據是獨立的嗎?例如,我們可以不使用 MLE 來擬合時間序列數據嗎?還是參數必須是獨立的?

似然函數定義為事件的概率(數據集) 作為模型參數的函數

因此,不存在觀測獨立性的假設。在經典方法中,沒有參數獨立性的定義,因為它們不是隨機變量;一些相關的概念可能是最大似然估計量(它們是隨機變量)的可識別性、參數正交性和獨立性。

一些例子,

(1)。離散案例。是(獨立)離散觀察的樣本, 然後

特別是,如果, 和已知,我們有

(2)。連續逼近。讓是來自連續隨機變量的樣本, 有分佈和密度, 有測量誤差,這就是,你觀察集合. 然後

什麼時候很小,這可以近似(使用中值定理)由

有關正常情況的示例,請查看this

(3)。依賴和馬爾可夫模型。假設是一組可能依賴的觀測值,並且讓是聯合密度, 然後

如果另外滿足馬爾可夫性質,則

也看看這個

引用自:https://stats.stackexchange.com/questions/29190

comments powered by Disqus

相關問答