計量經濟學中的“隨機效應模型”與計量經濟學之外的混合模型究竟有何關係？
我曾經認為計量經濟學中的“隨機效應模型”對應於計量經濟學之外的“具有隨機截距的混合模型”，但現在我不確定了。可以？
計量經濟學使用諸如“固定效應”和“隨機效應”之類的術語與關於混合模型的文獻有所不同，這導致了臭名昭著的混亂。讓我們考慮一個簡單的情況，其中線性依賴於但在不同的測量組中具有不同的截距：
這裡每個單元/組在不同的時間點觀察到. 計量經濟學家稱其為“面板數據”。
- 在混合模型術語中，我們可以處理作為固定效應或隨機效應（在這種情況下，它是隨機截距）。將其視為固定意味著擬合和最小化平方誤差（即使用虛擬組變量運行 OLS 回歸）。將其視為隨機意味著我們還假設並使用最大似然擬合和而不是擬合每個在其自己的。這導致了“部分匯集”效應，其中估計縮小到他們的平均值.
R formula when treating group as fixed: y ~ x + group R formula when treating group as random: y ~ x + (1|group)
- 在計量經濟學術語中，我們可以將整個模型視為固定效應模型或隨機效應模型。第一個選項等價於上面的固定效應（但計量經濟學有自己的估計方式在這種情況下，稱為
"within" estimator)。我以前認為第二個選項等價於上面的隨機效應；例如@JiebiaoWang 在他對隨機效應、固定效應和邊際模型有什麼區別的高度評價中回答？說在計量經濟學中，隨機效應模型可能僅指生物統計學中的隨機截距模型
好的—讓我們測試一下這個理解是否正確。這是@ChristophHanck 在回答固定效應、隨機效應和混合效應模型有什麼區別時生成的一些隨機數據？（我將數據放在 pastebin 上，供不使用 R 的人使用）：
@Christoph 使用計量經濟學方法進行了兩次擬合：
fe <- plm(stackY~stackX, data = paneldata, model = "within") re <- plm(stackY~stackX, data = paneldata, model = "random")第一個產生的 beta 估計等於
-1.0451，第二個0.77031（是的，正的！）。我試圖用lmand重現它lmer：l1 = lm(stackY ~ stackX + as.factor(unit), data = paneldata) l2 = lmer(stackY ~ stackX + (1|as.factor(unit)), data = paneldata)第一個
-1.045與上面的內部估計器完全一致。涼爽的。但是第二個收益率-1.026，它與隨機效應估計器相距甚遠。嘿？到底是怎麼回事？事實上， 當被調用時，plm甚至在做model = "random"什麼？無論它在做什麼，人們能否通過混合模型的視角來理解它？
它所做的一切背後的直覺是什麼？我在幾個計量經濟學的地方讀到，隨機效應估計量是固定效應估計量之間的加權平均值，
"between" estimator如果我們根本不包括模型中的組身份，則它或多或少是回歸斜率（這個估計在這個案例，大約4。）例如@Andy在這裡寫道：然後，隨機效應估計器使用數據變化內部和變化之間的矩陣加權平均值。[…] 這使得隨機效應更有效[.]
為什麼？為什麼我們需要這個加權平均值？特別是，我們為什麼要它而不是運行混合模型？
**總結：**計量經濟學中的“隨機效應模型”和“隨機截距混合模型”確實是相同的模型，但它們的估計方式不同。計量經濟學的方式是使用FGLS，混合模型的方式是使用ML。進行 FGLS 有不同的算法，其中一些（在此數據集上）產生非常接近 ML 的結果。
- 估計方法的差異
plm
我將使用@ChristophHanck 生成的數據在
plm(..., model = "random")和上進行測試。lmer()根據plm 包手冊，有四個選項
random.method： 隨機效應模型中方差分量的估計方法。@amoeba 使用默認的swar（Swamy 和 Arora，1972 年）。對於隨機效應模型，通過將 random.method 設置為“swar”（Swamy and Arora (1972)）（默認）、“amemiya”（Amemiya (1971)）、“walhus”（華萊士和侯賽因（1969）），或“nerlove”（Nerlove（1971））。
我使用相同的數據測試了所有四個選項，得到了 的錯誤
amemiya，以及變量 的三個完全不同的係數估計值stackX。usingrandom.method='nerlove'和 ‘amemiya’ 的值幾乎等同於lmer(), -1.029 和 -1.025 與 -1.026 的值。它們也與“固定效應”模型 -1.045 中獲得的結果沒有太大區別。# "amemiya" only works using the most recent version: # install.packages("plm", repos="http://R-Forge.R-project.org") re0 <- plm(stackY~stackX, data = paneldata, model = "random") #random.method='swar' re1 <- plm(stackY~stackX, data = paneldata, model = "random", random.method='amemiya') re2 <- plm(stackY~stackX, data = paneldata, model = "random", random.method='walhus') re3 <- plm(stackY~stackX, data = paneldata, model = "random", random.method='nerlove') l2 <- lmer(stackY~stackX+(1|as.factor(unit)), data = paneldata) coef(re0) # (Intercept) stackX 18.3458553 0.7703073 coef(re1) # (Intercept) stackX 30.217721 -1.025186 coef(re2) # (Intercept) stackX -1.15584 3.71973 coef(re3) # (Intercept) stackX 30.243678 -1.029111 fixef(l2) # (Intercept) stackX 30.226295 -1.026482不幸的是，我現在沒有時間，但有興趣的讀者可以找到這四個參考資料，以檢查他們的估算程序。弄清楚它們為什麼會產生如此大的差異會非常有幫助。我希望在某些情況下，
plm使用 on 轉換數據的估計過程lm()應該等同於lmer().
- GLS 與 ML 的比較
package的作者
plm確實在他們論文的第 7 節中比較了兩者：Yves Croissant 和 Giovanni Millo，2008，R 中的 Panel Data Econometrics：The plm package。計量經濟學主要處理非實驗數據。非常重視規範程序和錯誤規範測試。因此，模型規範往往非常簡單，同時非常關注回歸量的內生性、誤差中的依賴結構以及偏離正態性的估計量的穩健性等問題。首選方法通常是半參數或非參數方法，並且異方差一致技術正在成為估計和測試中的標準做法。
由於所有這些原因，[…] 計量經濟學中的面板模型估計主要是在基於 Aitken 定理的廣義最小二乘框架中完成的 […]。相反，縱向數據模型
nlme通過lme4（受限或非受限）最大似然估計。[…]計量經濟學 GLS 方法具有可通過標準線性代數計算的封閉式解析解，儘管後者有時會在機器上計算繁重，但估計量的表達式通常相當簡單。相反，縱向模型的 ML 估計基於非線性函數的數值優化，沒有封閉形式的解，因此取決於近似值和收斂標準。
- 混合模型更新
random.method我很欣賞@ChristophHanck 對所使用的四個進行了詳盡的介紹，plm並解釋了為什麼他們的估計如此不同。應@amoeba 的要求，我將對混合模型（基於似然）及其與 GLS 的聯繫添加一些想法。基於似然的方法通常假設隨機效應和誤差項的分佈。通常使用正態分佈假設，但也有一些研究假設非正態分佈。我將遵循@ChristophHanck 的符號表示隨機截距模型，並允許不平衡的數據，即讓.
模型是
和. 對於每個,
所以對數似然函數是 當所有方差都已知時，如 Laird and Ware (1982) 所示，MLE 為
相當於 GLS由@ChristophHanck 派生。所以關鍵的區別在於方差的估計。鑑於沒有封閉形式的解決方案，有幾種方法：
- 使用優化算法直接最大化對數似然函數；
- 期望最大化 (EM) 算法：存在封閉形式的解決方案，但涉及隨機截距的經驗貝葉斯估計；
- 上述兩者的組合，期望/條件最大化（ECME）算法（Schafer，1998；R 包
lmm）。使用不同的參數化，封閉形式的解決方案（如上）和存在。解決方案可以寫成在哪裡定義為並且可以在 EM 框架中進行估計。綜上所述，MLE 有分佈假設，它是在迭代算法中估計的。MLE 和 GLS 之間的主要區別在於對方差的估計。
Croissant 和 Millo (2008) 指出
雖然在正態性下，誤差 OLS 的同方差性和無序列相關性也是最大似然估計量，但在所有其他情況下都存在重要差異。
在我看來，對於分佈假設，就像參數和非參數方法之間的區別一樣，當假設成立時，MLE 會更有效，而 GLS 會更穩健。