受限參數空間上的 MLE
認為是來自正態分佈的隨機樣本,均值和方差. 找到最大似然估計, 在限制條件下.
當沒有限制時,我找到了 MLE.
區分關於 theta,並將其設置為零收益率
二階導數為負,因此 MLE是. 我將如何納入限制.
雖然 OP 沒有回應,但我回答這個是為了展示我提出的方法(並指出它可能包含什麼統計直覺)。
首先,重要的是要區分對哪個實體施加了約束。在確定性優化設置中,沒有這樣的問題:沒有“真值”,也沒有估計量。我們只需要找到優化器。但在隨機環境中,可以想像有兩種不同的情況:
a)“估計給定樣本的參數,該樣本由具有非負均值的總體生成”(即)和
b)“在您的估計器不能取負值的約束下估計參數”(即)。
在第一種情況下,施加約束是包括對未知參數的先驗知識。在第二種情況下,約束可以被視為反映了對未知參數(或估計器的某種技術或“戰略”限制)的先驗信念。
但是,解決方案的機制是相同的:目標函數,(由非負性約束增強的對數似然) 是
給定凹度,對於全局最大值, foc 也足夠了。我們有
如果解位於內點 (), 然後所以解決方案是.
如果解位於邊界上 () 然後我們得到解處的乘數的值,所以完整的解決方案是 . 但是由於乘數必須是非負的,這必然意味著在這種情況下我們會有
(將約束設置為零沒有什麼特別之處。如果說約束是,那麼如果解位於邊界上,,這意味著(為了使乘數具有正值),即)。
所以,如果優化器是我們在這裡面臨什麼?如果我們處於“約束類型-a”,即我們被告知樣本來自具有非負均值的總體,那麼樣本可能無法代表該人群。
如果我們處於“約束類型-b”,即我們認為總體具有非負均值,則這種信念受到質疑。
(這本質上是一種處理先驗信念的替代方法,在正式的貝葉斯方法之外)。
關於估計器的性質,應該仔細區分這種受約束的估計情況,以及真實參數位於參數空間邊界的情況。