馬氏距離的自下而上解釋？
我正在研究模式識別和統計學，幾乎我打開的每一本關於這個主題的書都碰到了馬氏距離的概念。這些書給出了一些直觀的解釋，但仍然不足以讓我真正理解正在發生的事情。如果有人問我“馬氏距離是多少？” 我只能回答：“這是一件好事，可以測量某種距離”:)
定義通常還包含特徵向量和特徵值，我很難將它們連接到馬氏距離。我了解特徵向量和特徵值的定義，但它們與馬氏距離有何關係？它是否與更改線性代數等中的基礎有關？
我還閱讀了有關該主題的這些以前的問題：
我也讀過這個解釋。
答案很好，圖片也很好，但我仍然不明白……我有一個想法，但它仍然在黑暗中。有人可以給出“你將如何向你的祖母解釋它”的解釋，以便我最終可以結束這個，並且再也不會想知道馬氏距離到底是什麼？:) 它來自哪裡，是什麼，為什麼？
更新：
以下是有助於理解馬氏公式的內容：
這是一些多元數據（二維）的散點圖：
當軸被排除在外時，我們能做些什麼呢？
引入數據本身建議的坐標。
原點將位於點的質心（它們的平均值的點）。第一個坐標軸（下圖中的藍色）將沿著點的“脊柱”延伸，（根據定義）是方差最大的任何方向。第二個坐標軸（圖中紅色）將垂直於第一個坐標軸延伸。（在多於二維的情況下，會選擇方差盡可能大的那個垂直方向，以此類推。）
我們需要一個規模。沿每個軸的標準偏差將很好地建立沿軸的單位。記住 68-95-99.7 規則：大約三分之二 (68%) 的點應該在原點的一個單位內（沿軸）；大約 95% 應該在兩個單位之內。這樣可以很容易地看到正確的單位。作為參考，該圖包括這些單位中的單位圓：
這看起來不像是一個圓圈，是嗎？那是因為這張圖片被扭曲了（正如兩個軸上數字之間的不同間距所證明的那樣）。讓我們用正確的方向（從左到右，從下到上）和單位縱橫比重新繪製它，以便水平的一個單位確實等於垂直的一個單位：
您在這張圖片中而不是在原始圖片中測量馬氏距離。
這裡發生了什麼？ 我們讓數據告訴我們如何構建一個坐標係以在散點圖中進行測量。 就是這樣。儘管沿途我們有一些選擇（我們總是可以反轉一個或兩個軸；在極少數情況下，沿著“脊柱”的方向——主要方向——不是唯一的），它們不會改變距離在最後的情節中。
技術評論
（不是為了奶奶，一旦數字再次出現在情節上，她可能就開始失去興趣，而是為了解決剩下的問題。）
- 沿新軸的單位向量是特徵向量（協方差矩陣或其逆矩陣）。
- 我們注意到，不扭曲橢圓以形成一個圓將沿每個特徵向量的距離除以標準偏差：協方差的平方根。讓 $ C $ 代表協方差函數，兩點之間的新（馬氏）距離 $ x $ 和 $ y $ 是距離 $ x $ 到 $ y $ 除以平方根 $ C(x-y, x-y) $ . 相應的代數運算，現在考慮 $ C $ 就其表示為矩陣和 $ x $ 和 $ y $ 就它們作為向量的表示而言，寫成 $ \sqrt{(x-y)‘C^{-1}(x-y)} $ . 無論使用什麼基礎來表示向量和矩陣，這都有效。 特別是，這是原始坐標中馬氏距離的正確公式。
- 在最後一步中擴展軸的量是逆協方差矩陣的*特徵值（的平方根）。*等效地，軸被協方差矩陣的特徵值（的根）*縮小。*因此，分散越多，將橢圓轉換為圓形所需的收縮就越多。
- 儘管此過程始終適用於任何數據集，但對於近似多元正態的數據，它看起來很不錯（經典的足球形狀的雲）。在其他情況下，平均點可能無法很好地表示數據中心，或者無法使用方差準確識別“脊椎”（數據中的一般趨勢）作為傳播的度量。
- 坐標原點的移動、軸的旋轉和擴展共同形成了仿射變換。 除了最初的偏移，這是從原始的基礎（使用指向正坐標方向的單位向量）到新的基礎（使用單位特徵向量的選擇）的變化。
- 與主成分分析（PCA）有很強的聯繫。僅憑這一點就可以解釋“它來自哪裡”和“為什麼”的問題——如果你還沒有被讓數據確定你用來描述它們和測量它們的坐標的優雅和實用性所說服的話差異。
- 對於多元正態分佈（我們可以使用概率密度的屬性而不是點雲的類似屬性來執行相同的構造），馬氏距離（到新原點）出現在“ $ x $ “在表達式中 $ \exp(-\frac{1}{2} x^2) $ 表示標準正態分佈的概率密度。因此，在新坐標中，多元正態分佈在投影到通過原點的任何線上時看起來是*標準正態分佈。*特別是，它在每個新坐標中都是標準法線。從這個角度來看，多元正態分佈彼此不同的唯一實質意義在於它們使用了多少維。（請注意，此維度數可能（有時是）小於標稱維度數。）
