錯誤指定下的統計推斷
統計推斷的經典處理依賴於假設存在使用正確指定的統計信息。也就是分佈生成觀察到的數據是統計模型的一部分:
然而，在大多數情況下，我們不能假設這是真的。我想知道如果我們放棄正確指定的假設，統計推斷程序會發生什麼。 我發現White 1982的一些工作是在錯誤規範下進行的 ML 估計。有人認為，最大似然估計量是分佈的一致估計量
最小化統計模型內所有分佈的KL散度和真實分佈. 置信集估計器會發生什麼？讓我們回顧一下置信集估計器。讓 是一個集合估計量，其中是樣本空間和參數空間上的冪集. 我們想知道的是集合產生的事件的概率包括真實分佈， 那是
但是，我們當然不知道真實的分佈. 正確指定的假設告訴我們. 但是，我們仍然不知道它是模型的哪個分佈。但，
是概率的下界. 方程是置信集估計器的置信水平的經典定義。 如果我們放棄正確指定的假設，不一定是下限，我們真正感興趣的術語，不再是。事實上，如果我們假設模型指定錯誤，這可以說是大多數現實情況的情況，為 0，因為真實分佈不包含在統計模型中.
從另一個角度可以考慮什麼與模型指定錯誤的時間有關。這是一個更具體的問題。**做如果模型指定錯誤，仍然有意義。**如果不是，我們為什麼還要為參數統計而煩惱？
我猜White 1982在這些問題上包含了一些結果。不幸的是，我缺乏數學背景阻礙了我理解那裡寫的很多東西。
讓 $ y_1, \ldots, y_n $ 是觀察到的數據，它被假定為一系列獨立同分佈隨機變量的實現 $ Y_1, \ldots, Y_n $ 具有共同的概率密度函數 $ p_e $ 關於 sigma-finite 度量定義 $ \nu $ . 密度 $ p_e $ 稱為數據生成過程（DGP）密度。
在研究人員的概率模型中 $ {\cal M} \equiv { p(y ; \theta) : \theta \in \Theta } $ 是由參數向量索引的概率密度函數的集合 $ \theta $ . 假設每個密度 $ {\cal M} $ 是關於一個常見的 sigma-finite 度量的定義 $ \nu $ （例如，每個密度可以是具有相同樣本空間的概率質量函數 $ S $ ).
保持密度很重要 $ p_e $ 它實際上生成的數據在概念上與數據的概率模型不同。在經典的統計處理中，這些概念的仔細分離要么被忽略，要么被忽略，或者從一開始就假設概率模型是正確指定的。
正確指定的模型 $ {\cal M} $ 關於 $ p_e $ 被定義為一個模型，其中 $ p_e \in {\cal M} $ $ \nu $ -幾乎無處不在。什麼時候 $ {\cal M} $ 被錯誤地指定為 $ p_e $ 這對應於未正確指定概率模型的情況。
如果正確指定概率模型，則存在 $ \theta^* $ 在參數空間 $ \Theta $ 這樣 $ p_e(y) = p(y ; \theta^*) $ $ \nu $ -幾乎無處不在。這樣的參數向量被稱為“真正的參數向量”。如果概率模型指定錯誤，則不存在真正的參數向量。
在 White 的模型錯誤指定框架內，目標是找到參數估計 $ \hat{\theta}_n $ 最小化 $ \hat{\ell}n({\theta}) \equiv (1/n) \sum{i=1}^n \log p(y_i ; { \theta}) $ 在一些緊湊的參數空間上 $ \Theta $ . 假設一個唯一的嚴格全局最小化器， $ \theta^* $ , 的期望值 $ \hat{\ell}_n $ 在 $ \Theta $ 位於內部 $ \Theta $ . 在正確指定概率模型的幸運情況下， $ \theta^* $ 可以解釋為“真正的參數值”。
在正確指定概率模型的特殊情況下，則 $ \hat{\theta}_n $ 是熟悉的最大似然估計。如果我們不知道正確指定概率模型的絕對知識，那麼 $ \hat{\theta}_n $ 稱為準最大似然估計，目標是估計 $ \theta^* $ . 如果我們很幸運並且正確指定了概率模型，那麼準最大似然估計作為一個特例簡化為熟悉的最大似然估計，並且 $ \theta^* $ 成為真正的參數值。
White（1982）框架內的一致性對應於收斂到 $ \theta^* $ 不需要 $ \theta^* $ 必然是真正的參數向量。在 White 的框架內，我們永遠不會估計 δ 產生的集合包含 TRUE 分佈 P* 的事件的概率。相反，我們總是會估計概率分佈 P**，它是由 δ 產生的集合包含由密度指定的分佈的事件的概率 $ p(y ; \theta^*) $ .
最後，關於模型錯誤指定的一些評論。很容易找到錯誤指定的模型非常有用且非常具有預測性的示例。例如，考慮具有高斯殘差項的非線性（甚至線性）回歸模型，其方差非常小，但環境中的實際殘差不是高斯的。
也很容易找到正確指定的模型無用且無法預測的示例。例如，考慮一個預測股票價格的隨機遊走模型，該模型預測明天的收盤價是今天的收盤價和一些方差極大的高斯噪聲的加權和。
模型錯誤規範框架的目的不是確保模型的有效性，而是確保可靠性。也就是說，確保與您的參數估計、置信區間、假設檢驗等相關的抽樣誤差得到正確估計，儘管存在少量或大量的模型錯誤指定。準最大似然估計是漸近正態的，以 $ \theta^* $ 協方差矩陣估計器取決於負對數似然函數的一階和二階導數。在幸運且模型正確的特殊情況下，所有公式都會簡化為熟悉的經典統計框架，其目標是估計“真實”參數值。