Distributions

MLE 用於三角形分佈?

  • July 11, 2013

是否可以將通常的 MLE 程序應用於三角形分佈?- 我正在嘗試,但通過定義分佈的方式,我似乎在數學中的某個步驟或另一個步驟中被阻止了。我試圖利用我知道 c 以上和以下的樣本數(不知道 c)的事實:如果 n 是樣本總數,這兩個數字是 cn 和 (1-c)n。但是,這似乎對推導沒有幫助。矩給出了 c 的估計量,沒有太大問題。這裡阻礙 MLE 的確切性質是什麼(如果確實存在的話)?

更多細節:

讓我們考慮一下在和定義的分佈經過:

如果 x < c

如果 c <= x

讓我們來一個獨立同居樣本給定這個樣本,從這個分佈形成 c 的對數似然:

然後我試圖使用給定形式的事實, 我們知道樣本將低於(未知), 和將落在上面. 恕我直言,這允許分解對數似然表達式中的總和,因此:

在這裡,我不確定如何進行。MLE 將涉及衍生 wrt的對數似然,但我有作為總和的上限,這似乎阻止了這一點。我可以嘗試另一種形式的對數似然,使用指標函數:

但是推導指標似乎也並不容易,儘管狄拉克三角洲可以允許繼續(同時仍然有指標,因為我們需要推導產品)。

所以,我在這裡被 MLE 阻止了。任何的想法?

是否可以將通常的 MLE 程序應用於三角形分佈?

當然!儘管有一些奇怪的問題需要處理,但在這種情況下可以計算 MLE。

但是,如果“通常的程序”是指“取對數似然的導數並將其設置為零”,那麼可能不是。

這裡阻礙 MLE 的確切性質是什麼(如果確實存在的話)?

你試過畫出可能性嗎?

澄清問題後的跟進:

關於繪製可能性的問題不是空洞的評論,而是問題的核心。

MLE 將涉及衍生

不,MLE 涉及找到函數的 argmax。這只涉及在某些條件下找到導數的零點……這裡不成立。充其量,如果您設法做到這一點,您將確定一些局部最小值

正如我之前的問題所建議的那樣,看看可能性。

這是一個樣本,來自 (0,1) 上的三角形分佈的 10 個觀測值:

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

這是似然函數和對數似然函數關於該數據: 三角形峰值的可能性

三角形峰值的對數似然

灰線標記數據值(我可能應該生成一個新樣本以更好地分離值)。黑點標記了這些值的可能性/對數可能性。

這是接近最大可能性的放大圖,以查看更多細節:

可能性的細節

正如您從可能性中看到的那樣,在許多訂單統計中,似然函數具有尖銳的“拐角” - 導數不存在的點(這不足為奇 - 原始 pdf 有一個拐角,我們正在採取pdf的產品)。這(在訂單統計中存在尖點)是三角分佈的情況,並且最大值總是出現在訂單統計之一處。(在順序統計中出現的尖點並不是三角形分佈所獨有的;例如,拉普拉斯密度有一個角,因此其中心的可能性在每個順序統計中都有一個。)

正如我的樣本中發生的那樣,最大值出現在四階統計量 0.3780912

所以要找到 MLE在 (0,1) 上,只需找到每個觀測值的可能性。最有可能的是 MLE.

Johan van Dorp 和 Samuel Kotz的“ Beyond Beta ”的第 1 章是一個有用的參考。碰巧的是,第 1 章是本書的免費“示例”章節 - 您可以在此處下載。

Eddie Oliver 有一篇關於三角形分佈問題的可愛小論文,我認為是在 American Statistician 中(它的觀點基本相同;我認為是在教師角)。如果我能找到它,我會把它作為參考。

編輯:這裡是:

EH Oliver (1972),A Maximum Likelihood Oddity,

美國統計學家,第 26 卷,第 3 期,六月,p43-44

(發布者鏈接

如果您可以輕鬆掌握它,那麼值得一看,但 Dorp 和 Kotz 章節涵蓋了大部分相關問題,因此並不重要。


通過對評論中的問題進行跟進-即使您可以找到某種“平滑”角落的方法,您仍然必須處理可以獲得多個局部最大值的事實:

兩個局部最大值

但是,可能會找到具有非常好的屬性(比矩量法更好)的估計量,您可以輕鬆地寫下來。但是(0,1)上的三角形上的ML是幾行代碼。

如果這是一個海量數據的問題,那也可以處理,但我認為這將是另一個問題。例如,並非每個數據點都可以是最大值,這會減少工作量,並且可以節省一些其他費用。

引用自:https://stats.stackexchange.com/questions/64102

comments powered by Disqus