多元回歸或偏相關係數？以及兩者的關係
我什至不知道這個問題是否有意義，但是多元回歸和偏相關之間有什麼區別（除了相關和回歸之間的明顯差異，這不是我的目標）？
我想弄清楚以下內容：
我有兩個自變量（,) 和一個因變量 (）。現在單獨地，自變量與因變量不相關。但是對於給定的 減少時減少。那麼我是通過多元回歸還是偏相關來分析呢？
編輯以希望改善我的問題： 我試圖了解多元回歸和偏相關之間的區別。那麼，當對於給定的減少什麼時候減少，是由於綜合作用和在（多元回歸）還是由於消除了（部分相關）？
多元線性回歸係數和偏相關直接相關並且具有相同的顯著性（p值）。部分r只是標準化係數的另一種方式，以及beta係數（標準化回歸係數） $ ^1 $ . 所以，如果因變量是 $ y $ 獨立人士是 $ x_1 $ 和 $ x_2 $ 然後
$$ \text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2} $$
$$ \text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }} $$
您會看到分子相同，這表明兩個公式都測量了相同的獨特效果 $ x_1 $ . 我將嘗試解釋這兩個公式在結構上如何相同以及它們如何不同。
假設您對所有三個變量進行了z 標準化（均值 0，方差 1）。然後分子等於兩種殘差之間的協方差：預測中留下的（a）殘差 $ y $ 經過 $ x_2 $ [兩個變量標準]和預測中留下的（b）殘差 $ x_1 $ 經過 $ x_2 $ [兩個變量標準]。此外，殘差 (a) 的方差為 $ 1-r_{yx_2}^2 $ ; 殘差 (b) 的方差為 $ 1-r_{x_1x_2}^2 $ .
然後，偏相關的公式清楚地顯示為普通 Pearson 的公式 $ r $ ，在這種情況下，在殘差 (a) 和殘差 (b) 之間計算：Pearson $ r $ ，我們知道，是協方差除以分母，分母是兩個不同方差的幾何平均值。
標準化係數beta在結構上類似於 Pearson $ r $ ，只有分母是與自己的方差的幾何平均值。未計算殘差 (a) 的方差；取而代之的是殘差方差的二次計數 (b)。因此，Beta 是兩個殘差相對於其中一個的方差的協方差（具體而言，與感興趣的預測變量有關的那個， $ x_1 $ ）。正如已經註意到的，偏相關是相對於它們的混合方差的相同協方差。兩種類型的係數都是標準化影響的方法 $ x_1 $ 在其他預測因素的環境中。
差異的一些數字後果。如果多元回歸的 R 方 $ y $ 經過 $ x_1 $ 和 $ x_2 $ 恰好為 1，則預測變量與依賴項的兩個偏相關也將為 1 絕對值（但 beta 通常不會為 1）。確實，如前所述， $ r_{yx_1.x_2} $ 是 的殘差
y <- x2和 的殘差之間的相關性x1 <- x2。如果不是什麼 $ x_2 $ 在裡面 $ y $ 正是不是_ _ $ x_2 $ 在裡面 $ x_1 $ 那麼裡面什麼都沒有 $ y $ 那既不是 $ x_1 $ 也不 $ x_2 $ : 完全合身。無論無法解釋的數量是多少（由 $ x_2 $ ) 部分留在 $ y $ （這 $ 1-r_{yx_2}^2 $ )，如果它被獨立部分相對較高地捕獲 $ x_1 $ （由 $ 1-r_{x_1x_2}^2 $ ）， 這 $ r_{yx_1.x_2} $ 會很高。 $ \beta_{x_1} $ 另一方面，只有在被捕獲的無法解釋部分 $ y $ 本身就是很大一部分 $ y $ .
從上面的公式可以得到（並從 2 預測回歸擴展到具有任意數量預測變量的回歸 $ x_1,x_2,x_3,… $ ) beta 與對應的部分 r 之間的轉換公式：
$$ r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}}, $$
在哪裡 $ X $ 代表除當前 ( $ x_1 $ ); $ e_{y \leftarrow X} $ 是回歸的殘差 $ y $ 經過 $ X $ ， 和 $ e_{x_1 \leftarrow X} $ 是回歸的殘差 $ x_1 $ 經過 $ X $ ，這兩個回歸中的變量都標準化了。
注意：如果我們需要計算偏相關 $ y $ 與每個預測器 $ x $ 我們通常不會使用這個需要做兩個額外回歸的公式。相反，將完成掃描操作（通常在逐步和所有子集回歸算法中使用）或將計算反圖像相關矩陣。
$ ^1 $ $ \beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y} $ 是原始之間的關係 $ b $ 和標準化的 $ \beta $ 帶截距的回歸係數。
附錄。回歸幾何 $ beta $ 和部分 $ r $ .
在下圖中，具有兩個相關預測變量的線性回歸， $ X_1 $ 和 $ X_2 $ , 顯示。三個變量，包括因變量 $ Y $ , 被繪製為向量（箭頭）。這種顯示方式不同於通常的散點圖（又名可變空間顯示），稱為*主題空間*顯示。（您可能會在此處、此處、此處、此處、此處、此處、此處和其他一些線程中遇到類似的圖紙。）
圖片是在所有三個變量都居中之後繪製的，因此 (1) 每個向量的長度 = st。各個變量的偏差，以及（2）每兩個向量之間的角度（其餘弦）=各個變量之間的相關性。
$ Y' $ 是回歸預測（正交投影 $ Y $ 到回歸變量跨越的“平面 X”上）； $ e $ 是誤差項； $ \cos \angle{Y Y'}={|Y'|}/|Y| $ 是多重相關係數。
的斜坐標 $ Y' $ 在預測器上 $ X1 $ 和 $ X2 $ 關聯它們的多元回歸係數。這些從原點開始的長度是按比例縮放的 $ b $ 的或 $ beta $ 的。例如，傾斜坐標的大小到 $ X_1 $ 等於 $ \beta_1\sigma_Y= b_1\sigma_{X_1} $ ; 因此，如果 $ Y $ 是標準化的（ $ |Y|=1 $ ), 坐標 = $ \beta_1 $ . 另請參閱。
但是如何獲得對應的偏相關的印象 $ r_{yx_1.x_2} $ ? 偏出 $ X_2 $ 從其他兩個變量中，必須將它們投影到正交的平面上 $ X_2 $ . 下面，在左邊，這個平面垂直於 $ X_2 $ 已繪製。它顯示在底部 - 而不是原點的水平 - 只是為了不堵塞圖片。讓我們檢查一下那個空間發生了什麼。把你的眼睛放在（左圖）的底部並向上看， $ X_2 $ 矢量從你的眼睛開始。
現在所有的向量都是投影。 $ X_2 $ 是一個點，因為平面是垂直於它的。我們看起來“Plane X”對我們來說是水平線。因此只有四個向量（的投影） $ Y $ 離開線路。
從這個角度來看， $ r_{yx_1.x_2} $ 是 $ \cos \alpha $ . 它是投影向量之間的夾角 $ Y $ 和 $ X_1 $ . 在正交的平面上 $ X_2 $ . 所以理解起來非常簡單。
注意 $ r_{yx_1.x_2}=r_{yy'.x_2} $ ， 既 $ Y' $ 和 $ X_1 $ 屬於“平面X”。
我們可以將右圖的投影追溯到左圖。發現 $ Y $ 右圖是 $ Y\perp $ 左邊的，這是回歸的殘差 $ Y $ 經過 $ X_2 $ . 同樣地， $ X_1 $ 右圖是 $ X_1\perp $ 左邊的，這是回歸的殘差 $ X_1 $ 經過 $ X_2 $ . 這兩個殘差向量之間的相關性是 $ r_{yx_1.x_2} $ ， 據我們所知。
