Correlation

相關矩陣零特徵值的充分必要條件

  • September 12, 2018

給定隨機變量, 有概率分佈, 相關矩陣是半正定的,即其特徵值為正或零。

我對以下條件感興趣是必要和/或充分的具有 零特徵值。例如,一個充分條件是隨機變量不是獨立的:對於一些實數. 例如,如果, 然後是一個特徵向量特徵值為零。如果我們有上的獨立線性約束的這種類型,這意味著零特徵值。

至少有一種額外的(但微不足道的)可能性,當對於一些(IE),因為在那種情況下有一列和一行零:. 由於它不是很有趣,我假設概率分佈不是那種形式。

我的問題是:線性約束是誘導零特徵值的唯一方法(如果我們禁止上面給出的微不足道的例外),或者對隨機變量的非線性約束也可以產生零特徵值?

也許通過簡化符號,我們可以帶出基本思想。 事實證明,我們不需要涉及期望或複雜的公式,因為一切都是純代數的。


數學對象的代數性質

問題涉及(1)有限隨機變量集的協方差矩陣之間的關係 X1,,Xn (2) 這些變量之間的線性關係,被視為向量

所討論的向量空間是所有有限方差隨機變量的集合(在任何給定的概率空間上) (Ω,P) ) 對幾乎可以肯定的常數變量的子空間取模,記為 L2(Ω,P)/R. (也就是說,我們考慮兩個隨機變量 XY 當概率為零時是相同的向量 XY 與預期不同。)我們只處理有限維向量空間 V 由產生的 Xi, 這就是使它成為代數問題而不是分析問題的原因。

關於方差我們需要知道的

V 不僅僅是一個向量空間:它是一個*二次模塊,*因為它配備了方差。 關於方差,我們只需要知道兩件事:

  1. 方差是標量值函數 Q 與財產 Q(aX)=a2Q(X) 對於所有向量 X.
  2. 方差是非退化的。

第二個需要一些解釋。 Q 確定“點積”,它是由下式給出的對稱雙線性形式

XY=14(Q(X+Y)Q(XY)).

(這當然就是變量的協方差 XY. ) 向量 XY 當它們的點積是正交 0. 任何向量集的 正交補集 AV 由正交於每個元素的所有向量組成 A, 書面

A0=vVa.v=0 for all vV.

它顯然是一個向量空間。什麼時候 V0=0 , Q 是非退化的。

請允許我證明方差確實是非退化的,即使它看起來很明顯。認為 X 是一個非零元素 V0. 這意味著 XY=0 對所有人 YV; 等效地,

Q(X+Y)=Q(XY)

對於所有向量 Y. 服用 Y=X

4Q(X)=Q(2X)=Q(X+X)=Q(XX)=Q(0)=0

因此 Q(X)=0. 然而,我們知道(也許使用切比雪夫不等式)唯一具有零方差的隨機變量幾乎肯定是恆定的,這將它們與 V, QED。

解釋問題

回到問題,在前面的符號中,隨機變量的協方差矩陣只是它們所有點積的規則數組,

T=(XiXj).

有一種很好的思考方式 T :它定義了一個線性變換 Rn 以通常的方式,通過發送任何向量 x=(x1,,xn)Rn 進入向量 T(x)=y=(y1,,xn) 誰的 ith 分量由矩陣乘法規則給出

yi=nj=1(XiXj)xj.

這個線性變換的內核是它發送到零的子空間*:*

Ker(T)=xRnT(x)=0.

上述等式意味著當 xKer(T), 對於每個 i

0=yi=nj=1(XiXj)xj=Xi(jxjXj).

因為這對每個人都是正確的 i, 它適用於由 Xi :即, V 本身。因此,當 xKer(T), 給出的向量 jxjXj 在於 V0. 因為方差是非退化的,這意味著 jxjXj=0. 那是, x 描述了之間的線性依賴關係 n 原始隨機變量。

您可以輕鬆檢查此推理鍊是否可逆:

之間的線性依賴關係 Xj 因為向量與內核的元素一一對應 T.

(請記住,該聲明仍然認為 Xj 定義為位置的不斷變化——也就是說,作為 L2(Ω,P)/R ——而不僅僅是隨機變量。)

最後,根據定義,特徵T 是任何標量 λ 存在一個非零向量 xT(x)=λx. 什麼時候 λ=0 是一個特徵值,相關特徵向量的空間(顯然)是 T.


概括

**我們已經得到了問題的答案:**隨機變量的線性依賴集,qua元素 L2(Ω,P)/R, 與其協方差矩陣的核一一對應 T. 之所以如此,是因為方差是非退化的二次形式。核也是與零特徵值相關聯的特徵空間(或者當沒有零特徵值時只是零子空間)。


參考

我在很大程度上採用了第四章的符號和一些語言

讓-皮埃爾·塞爾,《算術課程》。 施普林格出版社 1973 年。

引用自:https://stats.stackexchange.com/questions/366558