Estimation

誰首先進行了最大似然估計?

  • December 27, 2019

我對統計理論的歷史發展非常感興趣。這是我所做的研究:我試圖閱讀費舍爾的兩篇舊論文。我認為第一篇關於 MLE 的理論論文應該是 Fisher 1912。

此外,瑟斯通有一些模型來構建一個概率質量函數,它與似然函數“等價”,但從他的兩篇舊論文中,我無法證實他提到了最大似然估計。他實現了他的想法,但我不知道他是否做過類似於參數化函數的 MLE 估計的事情。

所以我的問題是,關於在實踐中實現 MLE 的論文是什麼,尤其是離散數據集?誰發明了概率質量函數/似然函數?因為Fisher發明了MLE,人們通常把似然函數的發明歸功於他嗎?

最相關的參考恕我直言是史蒂夫斯蒂格勒的“最大可能性的史詩歷史”(2007)

“早在 1750 年代,Thomases Simpson 和 Bayes 以及 Johann Heinrich Lambert 在 1760 年就已經有與這個問題(*尋求觀測的最可能分佈)*相關的早期智能評論,但與我們的主題相關的第一次嚴重攻擊是 Joseph 1769 年的路易斯·拉格朗日。” S.斯蒂格勒 (2007)

“通過僅在得出概率估計後才以曲線的形式引入限制,拉格朗日的分析產生了一個奇怪的結果,即總是得出矩估計方法,即使從最大可能性開始!” S.斯蒂格勒 (2007)

他還指出 Daniel Bernoulli (1769) 和 Carl Friedrich Gauß (1809),儘管後者開始使用貝葉斯論證將 MLE 視為後驗模式。

“……卡爾·皮爾遜和路易斯·拿破崙·喬治·菲隆的長篇回憶錄於 1898 年在倫敦皇家學會會刊上發表,在歷史上佔有一席之地,更多的是因為它最終似乎暗示了什麼,而不是它的什麼完成了。” S.斯蒂格勒 (2007)

“……最大似然法是由 Lambert 和 Daniel Bernoulli 獨立提出的,但沒有實際效果,因為所考慮的誤差分佈的最大似然方程難以處理。” A. 哈爾德 (1999)

“令人震驚的事實是,當御劍在 1912 年撰寫關於最大似然估計的論文時,他並不知道他的論文。” A. 哈爾德 (1999)

A. Hald (1999)還提到 Encke (1832) 和 Hagen (1837) 最大化 $ p(\mathbf x|\theta) $ 在 $ \theta $ 找到“最可能的”樣本。他在御劍 (1908) 之前進一步引用了肖韋內 (1863) 和梅里曼 (1884)。

“御劍 (1908) 預料到了 (Fisher) 1922 版本的大部分內容,但直到費舍爾重做十年左右後才注意到。” J·奧爾德里奇 (1997)

“…… [最大似然] 標准出現在 Chauvenet (1891, p.481)、Bennett (1908, p.15) 和 Brunt (1917, p.77) 中最小二乘推導的首位” J.奧爾德里奇 (1997)

” Pearson (1896, p.265) 指出,通過選擇“觀察到的結果最可能”的值來找到 r 的“最佳”值。J. Aldrich (1997)

查看瑟斯通的參考書目,它似乎沒有早於 1912 年的相關論文。

引用自:https://stats.stackexchange.com/questions/442350

comments powered by Disqus