Covariance
量化柯西隨機變量的依賴性
給定兩個柯西隨機變量 θ1∼Cauchy(x(1)0,γ(1)) 和 θ2∼Cauchy(x(2)0,γ(2)) . 那不是獨立的。隨機變量的依賴結構通常可以用它們的協方差或相關係數來量化。然而,這些柯西隨機變量沒有矩。因此,不存在協方差和相關性。
還有其他表示隨機變量相關性的方法嗎?可以用蒙特卡洛估計那些嗎?
僅僅因為它們沒有協方差並不意味著基本 xtΣ−1x 不能使用通常與協方差相關的結構。事實上,多元 ( k 維)柯西可以寫成:
f(x;μ,Σ,k)=Γ(1+k2)Γ(12)πk2|Σ|12[1+(x−μ)TΣ−1(x−μ)]1+k2
我從維基百科頁面中提取的。這只是一個多元學生- t 具有一個自由度的分佈。
出於發展直覺的目的,我將只使用歸一化的非對角線元素 Σ 就好像它們是相關性一樣,即使它們不是。它們以與相關性非常相似的方式反映變量之間線性關係的強度; Σ 必須是正定對稱的;如果 Σ 是對角線的,變量是獨立的,等等。
參數的最大似然估計可以使用 EM 算法完成,在這種情況下很容易實現。似然函數的對數為:
L(μ,Σ)=−n2|Σ|−k+12n∑i=1log(1+si)
在哪裡 si=(xi−μ)TΣ−1(xi−μ) . 微分導致以下簡單表達式:
μ=∑wixi/∑wi
Σ=1n∑wi(xi−μ)(xi−μ)T
wi=(1+k)/(1+si)
EM 算法只是迭代這三個表達式,在每一步替換所有參數的最新估計。
有關這方面的更多信息,請參閱多元 t 分佈的估計方法,Nadarajah 和 Kotz,2008。