回歸中的抑制效果：定義和視覺解釋/描述
什麼是多元回歸中的抑制變量以及視覺顯示抑制效果的方法（其機製或結果中的證據）？我想邀請有想法的人來分享。
存在許多經常提到的回歸效應，它們在概念上是不同的，但在純粹從統計學上看時有很多共同點（參見例如David MacKinnon 等人的這篇論文“中介的等效性、混雜和抑制效應”，或維基百科的文章）：
- 中介者：IV，將另一個 IV 的效果（全部或部分）傳達給 DV。
- 混雜因素：IV 構成或完全或部分排除另一個 IV 對 DV 的影響。
- 主持人：IV，它可以控制另一個 IV 對 DV 的影響強度。從統計學上講，它被稱為兩個 IV 之間的交互。
- 抑制者：IV（概念上的調解者或調節者），其中包含加強了另一個 IV 對 DV 的影響。
我不打算討論它們中的一些或全部在技術上的相似程度（為此，請閱讀上面鏈接的論文）。我的目標是嘗試以圖形方式顯示抑制器是什麼。上述定義“抑制因子是一個包含增強另一個 IV 對 DV 的影響的變量”的定義在我看來可能很寬泛，因為它沒有說明任何關於這種增強機制的信息。下面我將討論一種機制——我認為唯一一種抑制機制。如果還有其他機制（就目前而言，我還沒有嘗試過思考任何其他機制），那麼上述“廣泛”的定義應該被認為是不精確的，或者我對抑制的定義應該被認為過於狹隘。
定義（我的理解）
抑制器是自變量，當添加到模型中時，它會提高觀察到的 R 方，主要是因為它考慮了沒有它的模型留下的殘差，而不是由於它自身與 DV 的關聯（相對較弱）。我們知道，添加 IV 後 R 平方的增加是該新模型中該 IV 的平方部分相關性。這樣，如果 IV 與 DV 的部分相關性（按絕對值）大於零階 $ r $ 在它們之間，IV是抑制器。
因此，抑制器主要“抑制”簡化模型的誤差，作為預測器本身很弱。誤差項是預測的補充。預測被“投影”或“在”IV（回歸係數）之間“共享”，誤差項也是如此（係數的“補充”）。抑制器不均勻地抑制此類誤差分量：某些 IV 較大，其他 IV 較小。對於那些“其”這樣的組件，它極大地抑制了它，它通過實際提高它們的回歸係數來提供相當大的便利幫助。
不強烈的抑制效果經常和廣泛地發生（本網站上的一個例子）。強烈的抑制通常是有意識地引入的。研究人員尋找必須與 DV 相關的盡可能弱的特徵，同時與感興趣的 IV 中的某些東西相關，這些東西被認為與 DV 無關，預測無效。他將其輸入到模型中，並大大提高了 IV 的預測能力。抑制器的係數通常不會被解釋。
我可以將我的定義總結如下[根據@Jake 的回答和@gung 的評論]：
- 正式（統計）定義：抑制器是 IV，其部分相關性大於零階相關性（與相關）。
- 概念（實際）定義：以上形式定義+零階相關性小，所以抑制器本身不是聲音預測器。
“支持者”只是特定模型中 IV 的角色，而不是單獨變量的特徵。當添加或刪除其他IV時，抑制器可以突然停止抑製或恢復抑製或改變其抑制活動的焦點。
正常回歸情況
下面的第一張圖片顯示了具有兩個預測變量的典型回歸（我們將談論線性回歸）。圖片是從這裡複製的，這裡有更詳細的解釋。簡而言之，中度相關（=它們之間有銳角）預測因子 $ X_1 $ 和 $ X_2 $ 跨度二維空間“平面 X”。因變量 $ Y $ 正交投影到它上面，留下預測變量 $ Y' $ 以及帶有 st 的殘差。偏差等於長度 $ e $ . 回歸的 R 平方是 $ Y $ 和 $ Y' $ , 兩個回歸係數與偏斜坐標直接相關 $ b_1 $ 和 $ b_2 $ ， 分別。這種情況我稱之為正常或典型，因為兩者 $ X_1 $ 和 $ X_2 $ 相關 $ Y $ （每個獨立和依賴之間存在斜角）並且預測器競爭預測，因為它們是相關的。
壓制情況
它顯示在下一張圖片中。這個和上一個一樣；然而 $ Y $ 矢量現在稍微遠離觀察者，並且 $ X_2 $ 大大改變了方向。 $ X_2 $ 充當抑制器。首先請注意，它幾乎與 $ Y $ . 因此，它本身不能成為有價值的預測器。第二。想像 $ X_2 $ 缺席，您只能通過 $ X_1 $ ; 這種單變量回歸的預測被描述為 $ Y^* $ 紅色向量，誤差為 $ e^* $ 向量，係數由下式給出 $ b^* $ 坐標（即 $ Y^* $ ).
現在讓自己回到完整模型並註意 $ X_2 $ 與 $ e^* $ . 因此， $ X_2 $ 在模型中引入時，可以解釋縮減模型的相當一部分誤差，減少 $ e^* $ 到 $ e $ . 本星座：(1) $ X_2 $ 不是競爭對手 $ X_1 $ 作為預測器；(2) $ X_2 $ 是一個收拾殘局的清潔工 $ X_1 $ , - 使 $ X_2 $ 抑制器。_ 由於其效果，預測強度 $ X_1 $ 成長到一定程度： $ b_1 $ 大於 $ b^* $ .
嗯，為什麼是 $ X_2 $ 稱為抑制器 $ X_1 $ 在“壓制”它時如何加強它？看下一張照片。
這和前面的完全一樣。再次考慮具有單個預測器的模型 $ X_1 $ . 該預測器當然可以分解為兩個部分或組件（以灰色顯示）：“負責”預測的部分 $ Y $ （因此與該向量重合）和對不可預測性“負責”的部分（因此與 $ e^* $ ）。這是第二部分 $ X_1 $ - 無關的部分 $ Y $ - 被壓制 $ X_2 $ 當該抑制器添加到模型中時。不相關的部分被抑制，因此，鑑於抑制器本身並不預測 $ Y $ 無論如何，相關部分看起來更強大。抑制器不是預測器，而是另一個/其他預測器的促進者。因為它與阻礙他們預測的因素競爭。
抑制器回歸係數的符號
它是抑制器和誤差變量之間相關性的符號 $ e^* $ 由簡化（沒有抑制器）模型留下。在上面的描述中，它是積極的。在其他設置中（例如，恢復 $ X_2 $ ) 它可能是負面的。
抑制示例
示例數據：
y x1 x2 1.64454000 .35118800 1.06384500 1.78520400 .20000000 -1.2031500 -1.3635700 -.96106900 -.46651400 .31454900 .80000000 1.17505400 .31795500 .85859700 -.10061200 .97009700 1.00000000 1.43890400 .66438800 .29267000 1.20404800 -.87025200 -1.8901800 -.99385700 1.96219200 -.27535200 -.58754000 1.03638100 -.24644800 -.11083400 .00741500 1.44742200 -.06923400 1.63435300 .46709500 .96537000 .21981300 .34809500 .55326800 -.28577400 .16670800 .35862100 1.49875800 -1.1375700 -2.8797100 1.67153800 .39603400 -.81070800 1.46203600 1.40152200 -.05767700 -.56326600 -.74452200 .90471600 .29787400 -.92970900 .56189800 -1.5489800 -.83829500 -1.2610800線性回歸結果：
請注意 $ X_2 $ 起到抑製作用。它的零階相關性與 $ Y $ 實際上為零，但其部分相關性的幅度要大得多， $ -.224 $ . 一定程度上增強了預測力 $ X_1 $ （從 r $ .419 $ , 一個潛在的 beta 與它進行簡單回歸, 到 beta $ .538 $ 在多元回歸中）。
根據正式定義， $ X_1 $ 也出現了一個抑制器，因為它的部分相關性大於它的零階相關性。但那是因為在簡單示例中我們只有兩個 IV。從概念上講， $ X_1 $ 不是抑制器，因為它 $ r $ 和 $ Y $ 不是關於 $ 0 $ .
順便說一句，平方部分相關性的總和超過了 R-square:
.4750^2+(-.2241)^2 = .2758 > .2256，這在正常回歸情況下不會發生（參見下面的維恩圖）。抑制和係數的符號變化
添加一個作為抑制器的變量可能也可能不會改變其他一些變量係數的符號。“壓制”和“改變標誌”效果不是一回事。此外，我相信抑制器永遠不會改變他們服務於抑制器的那些預測器的符號。（故意添加抑制器以促進變量然後發現它確實變得更強大但方向相反，這將是一個令人震驚的發現！如果有人能告訴我這是可能的，我將不勝感激。）
抑制和係數強化
引用之前的一段話：“對於那些“其”這些組件 [誤差組件] 的 IV，它極大地抑制了抑制器通過實際提高它們的回歸係數來提供相當大的便利幫助“。事實上，在我們上面的例子中， $ X_2 $ ，抑制器，提高了係數 $ X_1 $ . 這種對另一個回歸量的獨特預測能力的增強通常是抑制器對模型的目標，但它不是抑制器或抑制效果的*定義。*因為，前面提到的通過添加更多回歸變量來增強另一個預測變量的能力很容易發生在正常回歸情況下，而這些回歸變量沒有成為抑制變量。這是一個例子。
y x1 x2 x3 1 1 1 1 3 2 2 6 2 3 3 5 3 2 4 2 4 3 5 9 3 4 4 2 2 5 3 3 3 6 4 4 4 7 5 5 5 6 6 6 4 5 7 5 3 4 5 5 4 5 3 5 5 6 4 6 6 7 5 4 5 8 6 6 4 2 7 7 5 3 8 8 6 4 9 4 5 5 3 3 4 6 4 2 3 2 1 1 4 3 5 4 5 4 6 5 6 9 5 4 5 8 3 3 3 5 5 2 2 6 6 1 3 7 7 5 5 8 8 8沒有和有的回歸結果 $ X_3 $ :
包括 $ X_3 $ 在模型中提高了 beta $ X_1 $ 從 $ .381 $ 到 $ .399 $ （及其相應的偏相關 $ Y $ 從 $ .420 $ 到 $ .451 $ ）。儘管如此，我們在模型中沒有發現抑制器。 $ X_3 $ 的部分相關性（ $ .229 $ ) 不大於其零階相關性 ( $ .427 $ ）。其他回歸變量也是如此。“促進”效應是存在的，但不是由於“抑制”效應。抑制者的定義不同於僅僅加強/促進；它是關於拾取大部分錯誤，因此部分相關性超過了零階。
抑制和維恩圖
正常回歸情況通常藉助維恩圖來解釋。
A+B+C+D = 1，全部 $ Y $ 變化性。B+C+D面積是兩個 IV ( $ X_1 $ 和 $ X_2 $ )，R平方；剩餘面積A是誤差變異性。B+C = $ r_{YX_1}^2 $ ; D+C = $ r_{YX_2}^2 $ , Pearson 零階相關。B和D是平方部分（半部分）相關性：B = $ r_{Y(X_1.X_2)}^2 $ ; D = $ r_{Y(X_2.X_1)}^2 $ . B/(A+B) = $ r_{YX_1.X_2}^2 $ 和D/(A+D) = $ r_{YX_2.X_1}^2 $ 是與標準化回歸係數 beta具有相同基本含義的平方偏相關。
根據上述定義（我堅持），抑制器是部分相關性大於零階相關性的 IV， $ X_2 $ 如果D面積 > D+C面積，則為抑制器。這無法在維恩圖上顯示。（這意味著C從 $ X_2 $ 不是“這裡”，並且從C的角度來看不是同一個實體 $ X_1 $ . 人們可能必鬚髮明類似多層維恩圖之類的東西來扭動自己來展示它。）
PS完成我的答案後，我發現這個答案（由@gung）帶有一個漂亮的簡單（示意圖）圖，這似乎與我上面通過向量顯示的內容一致。
