指數族：觀察到的與預期的充分統計
我的問題來自閱讀Minka 的“Estimating a Dirichlet Distribution”，它在基於對隨機向量的觀察得出 Dirichlet 分佈的最大似然估計量的情況下，在沒有證據的情況下陳述了以下內容：
與指數族一樣，當梯度為零時，預期的充分統計量等於觀察到的充分統計量。
我沒有看到以這種方式呈現的指數族中的最大似然估計，也沒有在搜索中找到任何合適的解釋。有人可以深入了解觀察到的和預期的充分統計數據之間的關係，並可能有助於將最大似然估計理解為最小化它們的差異嗎？
這是關於指數族的常見斷言，但在我看來，大多數時候它的表述方式可能會使經驗不足的讀者感到困惑。因為，從表面上看，它可以解釋為“如果我們的隨機變量服從指數族的分佈，那麼如果我們抽取一個樣本並將其插入到充分的統計量中，我們將獲得該統計量的真實期望值”。如果是這樣的話……更重要的是，它沒有考慮樣本的大小，這可能會導致進一步的混亂。
指數密度函數是
在哪裡是充分的統計量。
由於這是一個密度，它必須整合為一，所以 (是支持)
方程。適用於所有人所以我們可以區分雙方：
交換微分和積分的順序，我們得到
執行我們的差異化
插入進入我們得到
現在我們問：是一個實數。因此，右手邊也必須是實數，而不是函數。因此，它必須在特定的評估，它應該是“真實的”, 否則在左邊我們不會有真正的期望值. 為了強調這一點，我們將真實值表示為, 我們重寫作為
我們現在轉向最大似然估計。大小樣本的對數似然是
設置其導數等於我們獲得 MLE
比較和. 右側不相等，因為我們不能說 MLE 估計器達到了真實值。所以左手邊也不是。但請記住，當量。適用於所有人 等等還。所以方程中的步驟。可以考慮到所以我們可以寫eq。為了：
其中，結合，將我們引向有效關係
這就是正在檢查的斷言真正所說的：在MLE 下對於未知參數的充分統計量的期望值（換句話說，如果我們使用，我們將獲得的分佈的第一個原始矩的值代替)，等於（並且它不僅僅是近似於）從樣本中計算出的充分統計量的平均值.
此外，僅當樣本量為那麼我們可以準確地說，“MLE下充分統計量的期望值等於充分統計量”。