為什麼 James-Stein 估計器被稱為“收縮”估計器?
我一直在閱讀有關 James-Stein 估計器的信息。在本註釋中,它被定義為
我已閱讀證明,但我不明白以下陳述:
在幾何上,James-Stein 估計器收縮了向著原點…
“shrinking each component of the 是什麼意思?朝著原點”的確切含義?我在想類似的東西
在這種情況下,只要, 自從
這就是人們說“縮小到零”時的意思嗎,因為在規範意義上,JS 估計量更接近於零?
截至 2017 年 9 月 22 日的更新:今天我意識到也許我把事情複雜化了。似乎人們真的意味著一旦你乘以通過小於的東西,即,項, 每個分量會比以前小。
一張圖有時抵得上一千個字,所以讓我和你分享一張。下面您可以看到來自 Bradley Efron (1977) 論文Stein’s paradox in statistics的插圖。如您所見,Stein 的估計器所做的是使每個值更接近總平均值。它使大於總平均值的值更小,而小於總平均值的值更大。收縮是指將值向平均值移動,或者在某些情況下向零移動(例如正則化回歸),這會將參數向零收縮。
當然,這不僅僅是縮小自身,Stein (1956)和James and Stein (1961)已經證明,Stein 的估計量在總平方誤差方面優於最大似然估計量,
在哪裡,是 Stein 的估計量和, 其中兩個估計量均在樣本。證明在原始論文和您參考的論文的附錄中給出。用簡單的英語,他們已經表明,如果你同時使猜測,那麼就總平方誤差而言,與堅持最初的猜測相比,縮小它們會做得更好。
最後,Stein 估計器肯定不是唯一給出收縮效應的估計器。對於其他示例,您可以查看此博客條目,或 Gelman 等人引用的貝葉斯數據分析書。您還可以查看有關正則化回歸的線程,例如收縮方法解決了什麼問題?,或何時使用正則化方法進行回歸?, 對於這種效果的其他實際應用。