MLE 用於三角形分佈?
是否可以將通常的 MLE 程序應用於三角形分佈?- 我正在嘗試,但通過定義分佈的方式,我似乎在數學中的某個步驟或另一個步驟中被阻止了。我試圖利用我知道 c 以上和以下的樣本數(不知道 c)的事實:如果 n 是樣本總數,這兩個數字是 cn 和 (1-c)n。但是,這似乎對推導沒有幫助。矩給出了 c 的估計量,沒有太大問題。這裡阻礙 MLE 的確切性質是什麼(如果確實存在的話)?
更多細節:
讓我們考慮一下在和定義的分佈經過:
如果 x < c
如果 c <= x
讓我們來一個獨立同居樣本給定這個樣本,從這個分佈形成 c 的對數似然:
然後我試圖使用給定形式的事實, 我們知道樣本將低於(未知), 和將落在上面. 恕我直言,這允許分解對數似然表達式中的總和,因此:
在這裡,我不確定如何進行。MLE 將涉及衍生 wrt的對數似然,但我有作為總和的上限,這似乎阻止了這一點。我可以嘗試另一種形式的對數似然,使用指標函數:
但是推導指標似乎也並不容易,儘管狄拉克三角洲可以允許繼續(同時仍然有指標,因為我們需要推導產品)。
所以,我在這裡被 MLE 阻止了。任何的想法?
是否可以將通常的 MLE 程序應用於三角形分佈?
當然!儘管有一些奇怪的問題需要處理,但在這種情況下可以計算 MLE。
但是,如果“通常的程序”是指“取對數似然的導數並將其設置為零”,那麼可能不是。
這裡阻礙 MLE 的確切性質是什麼(如果確實存在的話)?
你試過畫出可能性嗎?
–
澄清問題後的跟進:
關於繪製可能性的問題不是空洞的評論,而是問題的核心。
MLE 將涉及衍生
不,MLE 涉及找到函數的 argmax。這只涉及在某些條件下找到導數的零點……這裡不成立。充其量,如果您設法做到這一點,您將確定一些局部最小值。
正如我之前的問題所建議的那樣,看看可能性。
這是一個樣本,來自 (0,1) 上的三角形分佈的 10 個觀測值:
0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924 0.5009028 0.8420312 0.2588613
這是似然函數和對數似然函數關於該數據:
灰線標記數據值(我可能應該生成一個新樣本以更好地分離值)。黑點標記了這些值的可能性/對數可能性。
這是接近最大可能性的放大圖,以查看更多細節:
正如您從可能性中看到的那樣,在許多訂單統計中,似然函數具有尖銳的“拐角” - 導數不存在的點(這不足為奇 - 原始 pdf 有一個拐角,我們正在採取pdf的產品)。這(在訂單統計中存在尖點)是三角分佈的情況,並且最大值總是出現在訂單統計之一處。(在順序統計中出現的尖點並不是三角形分佈所獨有的;例如,拉普拉斯密度有一個角,因此其中心的可能性在每個順序統計中都有一個。)
正如我的樣本中發生的那樣,最大值出現在四階統計量 0.3780912
所以要找到 MLE在 (0,1) 上,只需找到每個觀測值的可能性。最有可能的是 MLE.
Johan van Dorp 和 Samuel Kotz的“ Beyond Beta ”的第 1 章是一個有用的參考。碰巧的是,第 1 章是本書的免費“示例”章節 - 您可以在此處下載。
Eddie Oliver 有一篇關於三角形分佈問題的可愛小論文,我認為是在 American Statistician 中(它的觀點基本相同;我認為是在教師角)。如果我能找到它,我會把它作為參考。
編輯:這裡是:
EH Oliver (1972),A Maximum Likelihood Oddity,
美國統計學家,第 26 卷,第 3 期,六月,p43-44
(發布者鏈接)
如果您可以輕鬆掌握它,那麼值得一看,但 Dorp 和 Kotz 章節涵蓋了大部分相關問題,因此並不重要。
通過對評論中的問題進行跟進-即使您可以找到某種“平滑”角落的方法,您仍然必須處理可以獲得多個局部最大值的事實:
但是,可能會找到具有非常好的屬性(比矩量法更好)的估計量,您可以輕鬆地寫下來。但是(0,1)上的三角形上的ML是幾行代碼。
如果這是一個海量數據的問題,那也可以處理,但我認為這將是另一個問題。例如,並非每個數據點都可以是最大值,這會減少工作量,並且可以節省一些其他費用。