Regression
評估預測分佈的質量
我有一組數據點在哪裡是自變量,我相信每個可以建模為從帶有參數的指數分佈中繪製.
如果我使用預測,我如何評估我的預測分佈相對於觀察的質量?
編輯:這基本上與如何評估伯努利實驗的概率估計器質量相同的問題?但在連續上下文而不是二項式上下文中。在這種情況下使用什麼代替交叉熵對我來說並不明顯。
對此的標準方法是使用指數分佈的對數似然。這實際上正是交叉熵的推導方式,它是伯努利分佈的對數似然。
在指數分佈的情況下,pdf 為:
所以對數似然是:
因此,如果是你的真實價值觀,並且是您的預測,指數模型將最小化:
以這種方式通過最大化對數似然來擬合模型導致了廣義線性模型的理論;指數模型是一個特例。