什麼是隨機變量，什麼不是回歸模型
我已經看到了這個問題，但它沒有幫助。
因此，我將在我的統計教科書中討論回歸模型（主要是簡單的線性回歸），這裡有很多關於什麼是隨機變量和什麼不是隨機變量的混淆。也就是說，他們有時將某個術語視為隨機變量，然後將其視為常數。或者某些東西最初是一個常數，但後來我們以某種方式計算它的期望值。
無論如何，我們首先將回歸函數定義為 $ f(X) = E(Y|X) $ ，之後我們立即專門進行簡單的線性回歸。
讓 $ (X_1, Y_1), … (X_n, Y_n) $ 成為我們的樣本。我們希望應用的模型是 $$ Y_i = \beta_0 + \beta_1X_i + \epsilon_i $$ 其中隨機變量的序列 $ {\epsilon_i} $ 滿足以下條件：
- $ E(\epsilon_i) = 0 $ 為了 $ i=1, 2, …, n $
- $ E(\epsilon_i\epsilon_j) = 0 $ 對所有人 $ i \neq j $
- $ D(\epsilon_i)=\sigma^2 < \infty $
這本教科書的問題在於，所有內容都非常模糊，而且它的寫法好像應該是為了提醒那些已經知道所有這些東西的人，而不是一本讓人們從頭開始學習的教科書。
稍後我們得出估計的係數 $ \beta_0 $ 和 $ \beta_1 $ 使用平方和的偏導數，我們得到：
$$ \hat{\beta_1} = \frac{\sum_{i=1}^n(X_i - \bar{X_n})(Y_i-\bar{Y_n})}{\sum_{i=1}^n(X_i-\bar{X_n})^2} $$ $$ \hat{\beta_0} = \bar{Y_n} - \hat{\beta_1}\bar{X_n} $$
現在我們希望找到期望值 $ \hat{\beta_1} $ . 我們將其轉換為以下形式： $$ \hat{\beta_1} = \sum_{i=1}^n{Y_i\frac{(X_i - \bar{X_n})}{nS^2_{X}}} $$ 在哪裡 $ S^2_{X} $ 是 $ \frac{1}{n}\sum_{i=1}^n(X_i - \bar{X_n})^2 $ .
現在，當我們開始尋找期望值時，它看起來像這樣：
$$ E(\hat{\beta_1}) = \sum_{i=1}^n{E(Y_i)\frac{X_i - \bar{X_n}}{nS^2_{X}}} = \sum_{i=1}^n{(\beta_0 + \beta_iX_i)\frac{X_i-\bar{X_n}}{nS^2_{X}}} = … $$
意思是，除了 $ Y_i $ 在總和被視為一個常數。這是我不明白的部分之一。在我嘗試尋找這個問題的答案的其他一些來源中，我看到了以下句子：
僅有的 $ {e_i} $ 是隨機變量
這不適合我，可能是因為我在研究假設檢驗和統計推斷的其他部分一段時間後開始回歸，我們一直將“幾乎所有東西”視為隨機變量，即樣本（在這種情況下 $ X_i, Y_i $ 對），也是一個隨機變量。怎麼突然到了這裡，包含的部分 $ X_i $ 和 $ \bar{X_n} $ 剛剛被拋出 $ E() $ 好像它只是一個常數？
一些消息來源還提到 $ X_i, Y_i $ ’s 確實是隨機變量，而是“固定的”，這仍然無法幫助我理解它，因為它聽起來很不正式。
現在我將嘗試以某種方式總結我的問題。
- 我們對待 $ (X_i, Y_i) $ 的作為隨機變量？
- 我們對待 $ \beta_0 $ 和 $ \beta_1 $ 作為隨機變量？
- 我們對待 $ \hat{\beta_0} $ 和 $ \hat{\beta_1} $ 作為隨機變量？
- 什麼可以有預期值，什麼不能（在找到預期值時什麼被視為常數），為什麼？
這篇文章是對回歸教科書介紹中的一個常見問題的誠實回應，即什麼是隨機的或固定的問題。回歸教科書通常會愉快地聲明 $ X $ 變量是固定的並繼續他們愉快的方式，而在實踐中，這個假設消除了大多數有趣的回歸應用程序。
而不是假設 $ X $ 變量是固定的，理解回歸分析的更好途徑是採用條件分佈方法，其中 $ X $ ’s 被假定為隨機的，然後是固定的情況 $ X $ （僅發生在非常狹窄的實驗設計中，並且僅當實驗沒有錯誤地進行時）被歸入分佈退化的特殊情況。
OP缺少的是隨機鏈接 $ X $ 到固定的實現 $ X $ ( $ X=x $ )，這一切都從
**總期望定律：**假設 $ U $ 和 $ V $ 是隨機的，具有有限的期望。讓 $ E(U | V=v) = \mu(v) $ . 然後 $ E(U) = E{\mu(V)} $ .
這個“定律”（實際上是一個數學定理）允許您證明估計的無偏性 $ \hat \beta $ 分兩步：（i）首先證明它是無偏的，條件是 $ X $ 數據，以及（ii）通過使用總期望定律然後表明，當對所有可能的實現進行平均時，它是無偏的 $ X $ 數據。（例如 11,11, 11, 11, 11, 11, … 的平均值是 11）。
對OP的回答：
Q1。我們對待 $ (X_i,Y_i) $ 的作為隨機變量？
A1。是的。它們在模型的意義上是隨機的，模型描述了這些數據的潛在可觀察值可能出現的方式。當然實際觀察到的數據， $ (x_i, y_i) $ , 不是隨機的。相反，它們是固定值，是潛在可觀察隨機變量的多種可能實現方式之一 $ (X_i, Y_i) $ . 在極少數情況下， $ X $ 數據是固定的，但這被視為隨機性的一種特殊情況，因此總是假設隨機性更容易也更安全。
Q2。我們對待 $ \beta_0 $ 和 $ \beta_1 $ 作為隨機變量？
A2。這與 OP 有點偏離主題，但仍然是一個非常重要的問題。從科學家對現實的概念化來看，這些通常是固定值。也就是說，科學家假設有一個剛性結構負責生產所有的 $ (Y_i | X_i = x_i) $ 數據值，以及這些 $ \beta_0, \beta_1 $ 價值觀是這種剛性結構的一部分。
現在，參數 $ \beta_0, \beta_1 $ 在科學家的頭腦中是不確定的（這就是他或她首先收集數據的原因！），因此科學家可能會選擇在心理上將它們視為“隨機的”。科學家基於邏輯、主題考慮和過去的數據對這些參數的可能值有一些想法，這些想法形成了科學家的“先驗分佈”。然後科學家可以使用當前數據更新此先驗以獲得她/他的後驗。簡而言之，這就是貝葉斯統計的全部內容。
但同樣，這個問題與 OP 有點偏離主題，所以讓我們考慮一切都取決於科學家的概念化，即存在剛性結構，並且這些 $ \beta_0, \beta_1 $ 值在現實中是固定的。換句話說，除此之外，我的所有回复都假設 $ \beta $ 是固定的。
Q3。我們對待 $ \hat \beta_0 $ 和 $ \hat \beta_1 $ 作為隨機變量？
A3。這是另一個典型的回歸教學資源很滑的地方。在某些情況下，他們指的是估計 $ \hat \beta_0 $ 和 $ \hat \beta_1 $ 作為已收集的（固定）數據的函數，有時他們將它們稱為（隨機）潛在可觀察數據的函數，但使用相同的符號 $ \hat \beta_0 $ 和 $ \hat \beta_1 $ 在任一情況下。通常，您只需要從上下文中了解哪個是哪個。
每當你看到 $ E(\hat \beta) $ , 你可以假設 $ \hat \beta $ 是隨機數據的函數，即 $ \hat \beta $ 是一個函數 $ (X_i, Y_i) $ .
每當你看到價值 $ \hat \beta $ 報告，例如，在計算機打印出回歸分析的結果後，您可以假設 $ \hat \beta $ 是固定數據樣本的函數，即 $ \hat \beta $ 是一個函數 $ (x_i, y_i) $ .
Q4。什麼可以有預期值，什麼不能（在找到預期值時什麼被視為常數），為什麼？
A4。任何事情都可以有期待。不過，有些事情比其他事情更有趣。任何固定的東西（比如 $ \hat \beta $ 這是觀察到的函數 $ (x_i, y_i) $ sample) 的期望值恰好等於該值。例如，如果您從計算機打印輸出中觀察到 $ \hat \beta_1 =0.23 $ ， 然後 $ E(\hat \beta_1) =0.23 $ . 但這並不有趣。
更有趣的是以下問題：在所有可能的潛在實現中 $ (X_i, Y_i) $ 從這個數據生成過程中，是估計量 $ \hat \beta_1 $ 與結構參數相比，在平均意義上，既不會系統性太大，也不會系統性太小 $ \beta_1 $ ? 表達方式 $ E(\hat \beta_1) = \beta_1 $ 告訴您該問題的答案是令人欣慰的“是”。
在那個表情中 $ E(\hat \beta_1) = \beta_1 $ , 隱含的是 $ \hat \beta_1 $ 是潛在可觀察的函數 $ (X_i, Y_i) $ 數據，而不是樣本 $ (x_i, y_i) $ 數據。