Regression

T 一致性與 P 一致性

  • March 6, 2017

Francis Diebold 有一篇博文“因果關係和 T 一致性與相關性和 P 一致性”,其中他提出了P 一致性持久性的概念:

考慮一個標準的線性回歸設置回歸量和样本量. 我們會說一個估計器與治療效果一致(“T-一致”),如果

; 也就是說,如果

. 因此在大樣本中提供了對影響的良好估計一個單位的“治療”在. T-一致性是一致性的標準計量經濟學概念。然而不幸的是,OLS 當然只有在高度嚴格的假設下才具有 T-consistent。在任何給定的應用程序中評估和建立這些假設的可信度是使計量經濟學的重要部分如此棘手的原因。


現在考慮一個不同的一致性概念。假設二次損失,參數配置的預測風險是

讓成為一組的並讓最小化. 我們會說與預測效果一致(“P 一致”),如果

也就是說,如果

因此在大樣本中提供了一個很好的預測方法對於任何假設:只需使用. 至關重要的是,OLS 本質上始終是 P 一致的。我們幾乎不需要任何假設。

<…>

底線:與 T 一致性形成鮮明對比的是,P 一致性幾乎是免費的,但它是構建所有(非因果)預測模型的寶貴基礎。如此美妙的唾手可得的果實能更廣泛地獲得嗎?

問題:

  1. P一致性成立的條件是什麼?
  2. P-一致性不成立的簡單反例
  3. T 一致性的存在是否意味著 P 一致性的存在?

這些術語的定義方式表明,對於“T-一致性”,人們關心的是 $ \hat{\beta} $ 接近真實 $ \beta $ ,而“P-一致性”與是否 $ \hat{y} $ 將接近 $ y $ .

P一致性成立的條件是什麼?

被定義為“預測風險”的只是線性預測的均方誤差。“P-一致性”只是意味著對最佳線性預測器的一致估計 $ x' \beta^* $ , 在時間序列語言中。

OLS 估計 $ \hat{\beta} $ 一致估計 $ \beta^* $ ,在非常一般的假設下。這是因為 $ \hat{\beta} $ 只是一個示例版本 $ \beta^* $ ,你只需要輸入的樣本時刻 $ \hat{\beta} $ 收斂到人口時刻進入 $ \beta^* $ . 換句話說,需要 LLN 來保持(對於任何矩估計方法的一致性也是如此)。

所需的條件只是弱平穩性(因此 $ \beta^* = \frac{Cov(x,y)}{Var(x)} $ 已定義),例如,強混合類型的條件,如 $ \alpha $ -混合對混合速率沒有限制,並且存在足夠的矩(通常是 4 個)。

因此,“OLS 始終確定最佳線性預測”,用更多的計量經濟學術語來說。

P-一致性不成立的簡單反例

可能存在強混合條件不成立且 LLN 不成立的弱平穩過程的示例。在這種情況下,OLS 的概率極限 $ \hat{\beta} $ 將不存在並且“P-一致性”不成立。

對於您的虛假回歸示例, $ \beta^* $ 沒有定義,因為過程不是靜止的。在談論“P-一致性”時,人們已經隱含地假設了平穩性,所以 $ \beta^* $ 被定義為。

T 一致性的存在是否意味著 P 一致性的存在?

在線性模型的上下文中,“T-一致性”意味著 $ \hat{\beta} $ 估計“真” $ \beta $ 回歸量是外生的 $ E[\epsilon x] = 0 $ . 但是外生性只是意味著真實 $ \beta $ 等於 $ \beta^* $ .

因此,由於“T-一致性”和外生性在經驗上是相同的(後者是充分條件,但這種合併是標準的),是的將是一個公平的答案。

估計條件均值(T-一致性)是比估計線性投影(P-一致性)更強的要求。

附錄—P-一致性不成立的例子

僅考慮截距上的平凡回歸的情況(其中 $ y = \beta $ )。在這種情況下,P 一致性等同於 LLN。如果我們能找到一個(例如嚴格平穩的)時間序列 $ x_t $ 對於 LLN 不成立,則 P 一致性對於回歸不成立 $$ x_t = 1 + u_t. $$

這是一個這樣的系列。拿兩個iid系列 $ x_{1,t} $ 和 $ x_{2,t} $ 這樣 $ E[x_{1,t}] = 0 $ 和 $ E[x_{2,t}] = 1 $ . 定義 $$ x_t = \begin{cases} x_{1,t}, & \text{for all $t$, with probability $\frac12$} \ x_{2,t}, & \text{for all $t$, with probability $\frac12$} \ \end{cases}. $$ 然後 $ E[x_{t}] = \frac{1}{2} $ 但 $$ \frac{1}{n}\sum_{t=1}^n x_t \rightarrow \begin{cases} 0 & \text{with probability $\frac12$} \ 1 & \text{with probability $\frac12$} \ \end{cases}. $$ 因此 P 一致性不成立。這是嚴格平穩的非遍歷級數的最簡單示例。(在遍歷性下,有遍歷 LLN。)

接下來我們引入一個誤差項來得到一個線性回歸模型。讓 $ \epsilon_t \stackrel{i.i.d.}{\sim} (0, \sigma^2) $ , $ (\epsilon_t) $ 和 $ (x_t) $ 獨立,並且 $$ y_t = \beta x_t + \epsilon_t. $$ 讓 $ |\cdot| $ 表示歐幾里得範數 $ \mathbb{R}^n $ . 然後 $$ | \frac{1}{n} (\hat{y}n - y )^2 |^2 = (\frac{1}{n} \sum{t=1}^n x_t \epsilon_t)^2 $$ 由於類似的原因,它幾乎沒有確定或概率限制: $$ \frac{1}{n} \sum_{t=1}^n x_t \epsilon_t \rightarrow \begin{cases} 0 & \text{on a set $A$ with $P(A) = \frac12$} \ 1 & \text{on a set $A^c$ with $P(A^c) = \frac12$} \ \end{cases}. $$ 因此 P 一致性不成立。

經驗評論

任何嚴格平穩的非遍歷時間序列都採用類似的形式 $ (x_t) $ 上面,在放寬 iid 假設之後 $ x_{1,t} $ 和 $ x_{2,t} $ 只是嚴格的平穩性。根據經驗,人們可能會說這樣的過程具有“非常長的記憶”。這與可能是遍歷的僅僅是*長記憶系列形成對比。*例如,分數高斯噪聲 (FGN)是遍歷的並且具有長記憶(使其長記憶的原因是其部分和的方差增長為 $ n^{\alpha} $ , 為了 $ \alpha > 1 $ )。特別是,遍歷 LLN 適用於 FGN。

就人們認為長記憶屬性定義了在數據系列中觀察到的隨時間依賴性的上限而言,也許從上述示例中得出的一個經驗結論是,始終可以假設 P 一致性成立。

(Hurst 在尼羅河數據中首次觀察到長記憶特性。也有人建議股票收益可能具有長記憶——參見,例如這裡。我不知道任何經驗示例,其中固定非遍歷模型已經接受了——當 LLN 不成立時,推斷似乎是不可能的。)

引用自:https://stats.stackexchange.com/questions/265739

comments powered by Disqus