過參數化模型的 Fisher 信息矩陣行列式
考慮一個伯努利隨機變量帶參數（成功的概率）。似然函數和 Fisher 信息（a矩陣）是：
現在考慮一個具有兩個參數的“過度參數化”版本：成功概率和失敗的概率. （注意，並且此約束意味著其中一個參數是多餘的。）在這種情況下，似然函數和 Fisher 信息矩陣 (FIM) 為：
請注意，這兩個 FIM 的行列式是相同的。此外，此屬性擴展到分類模型的更一般情況（即多於兩個狀態）。它似乎還擴展到對數線性模型，其中各種參數子集被限制為零；在這種情況下，額外的“冗餘”參數對應於對數分區函數，兩個 FIM 行列式的等價性可以根據較大 FIM的Schur 補來表示。（實際上，對於對數線性模型，較小的 FIM 只是較大 FIM 的 Schur 補碼。）
有人能解釋一下這個屬性是否擴展到更大的參數模型集（例如所有指數族），允許選擇基於這樣的“擴展”參數集推導 FIM 行列式嗎？即假設任何給定的統計模型位於 a 上的參數維流形嵌入維空間。現在，如果我們擴展參數集以包含更多維度（完全基於其他維度）並基於這些維度計算 FIM參數，我們是否總是得到與基於原始參數的行列式相同的行列式（獨立）參數？另外，這兩個 FIM 有什麼關係？
我問這個問題的原因是帶有額外參數的 FIM 通常看起來更簡單。我的第一個想法是這通常不應該工作。FIM 涉及計算每個參數的對數似然的偏導數。這些偏導數假設，當所討論的參數發生變化時，所有其他參數保持不變，一旦我們涉及額外的（受約束的）參數，這就不是真的了。在這種情況下，在我看來，偏導數不再有效，因為我們不能假設其他參數是恆定的；但是，我還沒有找到證據證明這實際上是一個問題。（如果在具有相關參數的情況下偏導數有問題，是否需要全導數？我還沒有看到使用全導數計算 FIM 的示例，但也許這就是解決方案……）
我能在網上找到的唯一一個基於這樣的“擴展”參數集計算 FIM 的例子如下：這些註釋包含一個分類分佈的例子，像往常一樣計算所需的偏導數（即，好像每個參數都是獨立的，即使參數之間存在約束）。
對於正常，信息矩陣為
對於彎曲法線 因此，您對決定因素平等的觀察並不普遍，但這並不是全部。 一般來說，如果是重新參數化下的信息矩陣
那麼，不難看出原始參數的信息矩陣為在哪裡是變換的雅可比行列式. 以伯努利為例和. 所以，雅可比是因此
對於彎曲法線示例，
我認為現在您可以輕鬆地將決定因素聯繫起來。
評論後跟進
如果我理解正確，只要您以有意義的方式擴展參數，FIM 就是有效的：新參數化下的可能性應該是有效的密度。因此，我稱伯努利的例子是一個不幸的例子。
我認為您提供的鏈接在為分類變量推導 FIM 時存在嚴重缺陷，因為我們有和. 負 Hessian 的期望給出，但不適用於分數向量的協方差。如果忽略約束，則信息矩陣等式不成立。