量化柯西隨機變量的依賴性
給定兩個柯西隨機變量 $ \theta_1 \sim \mathrm{Cauchy}(x_0^{(1)}, \gamma^{(1)}) $ 和 $ \theta_2 \sim \mathrm{Cauchy}(x_0^{(2)}, \gamma^{(2)}) $ . 那不是獨立的。隨機變量的依賴結構通常可以用它們的協方差或相關係數來量化。然而，這些柯西隨機變量沒有矩。因此，不存在協方差和相關性。
還有其他表示隨機變量相關性的方法嗎？可以用蒙特卡洛估計那些嗎？
僅僅因為它們沒有協方差並不意味著基本 $ x^t\Sigma^{-1} x $ 不能使用通常與協方差相關的結構。事實上，多元 ( $ k $ 維）柯西可以寫成：
$$ f({\mathbf x}; {\mathbf\mu},{\mathbf\Sigma}, k)= \frac{\Gamma\left(\frac{1+k}{2}\right)}{\Gamma(\frac{1}{2})\pi^{\frac{k}{2}}\left|{\mathbf\Sigma}\right|^{\frac{1}{2}}\left[1+({\mathbf x}-{\mathbf\mu})^T{\mathbf\Sigma}^{-1}({\mathbf x}-{\mathbf\mu})\right]^{\frac{1+k}{2}}} $$
我從維基百科頁面中提取的。這只是一個多元學生- $ t $ 具有一個自由度的分佈。
出於發展直覺的目的，我將只使用歸一化的非對角線元素 $ \Sigma $ 就好像它們是相關性一樣，即使它們不是。它們以與相關性非常相似的方式反映變量之間線性關係的強度； $ \Sigma $ 必須是正定對稱的；如果 $ \Sigma $ 是對角線的，變量是獨立的，等等。
參數的最大似然估計可以使用 EM 算法完成，在這種情況下很容易實現。似然函數的對數為：
$$ \mathcal{L}(\mu, \Sigma) = -{n\over 2}|\Sigma| - {k+1 \over 2}\sum_{i=1}^n\log(1+s_i) $$
在哪裡 $ s_i = (x_i-\mu)^T\Sigma^{-1}(x_i-\mu) $ . 微分導致以下簡單表達式：
$$ \mu = \sum w_ix_i/\sum w_i $$
$$ \Sigma = {1 \over n}\sum w_i(x_i-\mu)(x_i-\mu)^T $$
$$ w_i = (1+k)/(1+s_i) $$
EM 算法只是迭代這三個表達式，在每一步替換所有參數的最新估計。
有關這方面的更多信息，請參閱多元 t 分佈的估計方法，Nadarajah 和 Kotz，2008。