Degrees-of-Freedom

加權平均的自由度

  • September 26, 2013

還有一長串自由度問題!

給定一個獨立同分佈樣本從具有期望的任意實值分佈, 樣本均值可以寫為

可以說自由度為是,因為有數據點和一個正在估計的參數。 現在假設某個扭曲的統計學家決定權重不夠好,替換和

在哪裡是一個預先確定的(即與數據無關的)非負權重向量. 自由度是多少? 在同行評審的工作中對這個問題的版本的引用將是特別有趣的。

這是錯誤的:( 正如@zkurtz 正確指出的那樣)

我認為@zbicyclist 作為上述評論給出的答案是非常明智的。使其合理化的一種方法如下。如果您安排樣品然後你在一個向量上“回歸”-th 元素是(沒有截距),你得到的估計.

這種回歸的自由度將是矩陣的跡; 更換由其列向量元素如上所述,這些自由度結果是. 當然如果被限制為加起來為 1,這與您的猜測一致.

作為支持這種“自由度”的參考資料,我認為 Hastie-Tibshirani(1990) Generalized Additive Models,Chapman & Hall,第 3.5 節很有趣。(他們為“帽子”矩陣的軌跡提供了替代方案。)

這可能是對的:

上面引用的 Hastie-Tibshirani (1990) 提出了一般非參數平滑器中“使用的自由度”的替代定義如下: i) 跟踪, ii) 跟踪iii) 追踪. 他們利用線性模型進行類比,其中,其跡為,參數的數量(在整個我考慮滿秩的情況下)。自從是對稱冪等的,和等於,所以這三個定義在線性回歸的情況下給出了相同的答案。

在所問問題的情況下,我們可以考慮在哪裡是加權平均值乘以列向量和是權重的對稱矩陣,其每一行等於所使用的權重集。

如果我們採用上面的定義 i),則使用的自由度數將為 1(假設, 如果我們採用 ii) 它將是. (在這種情況下對所有人(普通平均值),這會產生應有的 1。)

我發現這樣的定義有一些直觀的吸引力,但完全同意@whuber 的說法,即“自由度”這個名稱(用於平滑或適合)是對語言的濫用。我不相信有一個沒有爭議的定義。

關於這個主題,我還發現了有趣的 Hodges, JS 和 Sargent, DJ (2001) Counting Degrees of Freedom in Hierarchical and Other Richly-Parameterized Models, Biometrika , vol. 88,第 367-379 頁。還有許多其他論文涉及在不同情況下計算“等效參數”(或“使用的自由度”)。

引用自:https://stats.stackexchange.com/questions/71081

comments powered by Disqus