Bayesian

最大似然不是重新參數化不變的。那麼如何證明使用它是合理的呢?

  • March 15, 2018

關於最大似然估計器,有些事情讓我感到困惑。假設我有一些數據和參數下的可能性是

這可以識別為高斯向上縮放的可能性。現在我的最大似然估計器會給我.

現在假設我不知道,而是使用參數這樣. 還假設所有這些都是數字,所以我不會立即看到以下可能性看起來有多愚蠢

現在我將解決最大可能性並獲得其他解決方案。為了幫助看到這一點,我將其繪製在下面。

在此處輸入圖像描述

所以從這個角度來看,最大似然似乎是一件愚蠢的事情,因為它不是重新參數化不變的。我錯過了什麼?

請注意,貝葉斯分析自然會解決這個問題,因為可能性總是伴隨著一個度量

回復和評論後添加的部分(添加於 2018 年 3 月 16 日)

後來我意識到我上面的例子不是一個好例子,因為兩個最大值相當於. 所以他們正在確定同一點。我保留了上面的內容,以便下面的討論和回復有意義。但是,我認為以下是我試圖解決的問題的一個更好的例子。

現在假設我重新參數化然後做一個關於的最大似然我明白了

如果我想要一個最大值在一個位置,而不是我從最大化中得到的位置我需要

因此,我可以舉一個簡單的例子

我在下面繪製結果。我們可以清楚地看到是全局最大值(並且在最大化時只有一個) 但我們還有另一個局部最大值當我們最大化關於.

在此處輸入圖像描述

注意地圖不是雙射的,但我不明白為什麼必須這樣。此外,至少在這個例子中,全局最大值將始終是但從常客的角度來看,我不會不得不採取某種加權平均值的 1/1.6和 .6/1.6 的(對應於) 如果我完全在空間?

查看您的圖表,似乎是對 MLE(s) 的一個相當合理的猜測. 通過運行這些值返回的功能結果是或者,正如它應該的那樣。因此,MLE 之間沒有分歧和 MLE(s).

發生的事情是您創建了一張地圖那不是1-1。在這種情況下,真正的價值映射到多個值,所以毫不奇怪,在使用時您將有多個最大值. 但是請注意,如果您進行貝葉斯分析,這將是相同的,除非您之前的限制到區間或一些這樣的。如果你這樣做了,為了可比性,你應該限制 MLE 的範圍到相同的範圍,在這種情況下,您將不再獲得似然函數的多個最大值。

ETA:回想起來,我過分關注示例解釋,而對基本原理的關注不夠。在這方面,對於 OP 的回應,幾乎沒有比@whuber 的評論更好的了。

一般來說,如果你有一個參數和相關的 MLE,然後你構造一個函數,您已經有效地創建了一個備用參數. MLE, 標記它, 將是那些值這樣, IE,.

引用自:https://stats.stackexchange.com/questions/333737

comments powered by Disqus