具有良好的常客屬性意味著什麼?
我經常聽到這句話,但從來沒有完全理解它的意思。目前,“良好的常客屬性”一詞在 google 上的點擊量約為 2750 次,在 Academic.google.com 上為 536 次,在 stats.stackexchange.com 上為4 次。
我發現最接近明確定義的東西來自斯坦福大學演示文稿的最後一張幻燈片,其中指出
[T] 報告 95% 置信區間的含義是,您在 95% 的聲明中“捕獲”了真實參數,即使在不同的估計問題中也是如此。這是具有良好頻率特性的估計程序的定義特徵:它們在重複使用時經得起審查。
稍微思考一下,我認為“良好的頻率特性”一詞意味著對貝葉斯方法的一些評估,特別是間隔構造的貝葉斯方法。我了解貝葉斯區間旨在以概率包含參數的真實值. 頻率主義區間的構造是這樣的,如果區間構造的過程被重複多次的間隔將包含參數的真實值。貝葉斯區間通常不承諾有多少百分比的區間將覆蓋參數的真實值。然而,一些貝葉斯方法也恰好具有這樣的性質,即如果重複多次,它們會覆蓋大約的時間。當他們擁有該屬性時,我們說他們具有“良好的常客屬性”。
是對的嗎?我認為肯定不止於此,因為該短語指的是良好的常客屬性,而不是具有良好的常客屬性。
良好的常客屬性的一個棘手之處在於它們是過程的屬性,而不是特定結果或推理的屬性。從長遠來看,一個好的常客程序會在特定比例的案例上產生正確的推論,但一個好的貝葉斯程序通常會在所討論的個別案例中產生正確的推論。
例如,考慮一般意義上的“好”貝葉斯過程,因為它提供了正確表示證據(似然函數)與先驗概率分佈組合的後驗概率分佈或可信區間。如果先驗包含準確的信息(例如,而不是空洞的意見或某種形式的無信息先驗),則該後驗或區間可能會比來自相同數據的常客結果產生更好的推斷。在導致對這個特定情況的更準確推斷或更窄的估計間隔的意義上更好,因為該過程使用包含準確信息的定制先驗。從長遠來看,區間的覆蓋百分比和推理的正確性受每個先驗質量的影響。
請注意,該過程沒有指定如何獲得先驗,因此從長遠來看,性能核算可能會假設任何舊的先驗,而不是為每種情況定制設計的先驗。
貝葉斯過程可以具有良好的頻率特性。例如,在許多情況下,具有配方提供的無信息先驗的貝葉斯過程將具有相當好到極好的頻率特性。那些好的屬性將是一個意外而不是設計特徵,並且將是這樣一個過程的直接結果,該過程產生與常客過程相似的間隔。
因此,貝葉斯程序可以在單個實驗中具有出色的推理特性,而從長遠來看具有較差的頻率特性。等價地,具有良好長期頻率特性的頻率分析程序在單個實驗的情況下通常表現不佳。