“隨機投影”嚴格來說不是投影嗎？
隨機投影算法的當前實現通過將數據樣本映射到 $ \mathbb R^d $ 到 $ \mathbb R^k $ 用一個 $ d\times k $ 投影矩陣 $ R $ 其條目來自合適的分佈（例如來自 $ \mathcal N(0,1) $ ):
$ x^\prime = \frac{1}{\sqrt k}xR $
方便的是，存在理論證明表明該映射近似地保留了成對距離。
然而，最近我發現這些註釋，作者聲稱這種與隨機矩陣的映射不是嚴格線性代數意義上的投影（第 6 頁）。從那裡給出的解釋來看，這是因為 $ R $ 當其條目獨立地從 $ \mathcal N(0,1) $ . 因此，RP 的早期版本中的列的正交性 $ R $ 被強制執行可以被視為一種預測。
您能否提供更詳細的解釋：（1）嚴格意義上的投影定義是什麼，以及（2）為什麼 RP 不是這個定義下的投影？
- 在這個嚴格的（線性代數）意義上（這個詞的）投影的定義是什麼
https://en.wikipedia.org/wiki/Projection_(linear_algebra)
在線性代數和泛函分析中，投影是一種線性變換 $ P $ 從向量空間到自身，使得 $ P^2 = P $ . 也就是說，每當 $ P $ 對任何值應用兩次，它給出的結果與應用一次相同（冪等）。
對於正交投影或矢量投影，您有
https://en.wikipedia.org/wiki/Projection_(linear_algebra)
正交投影是范圍 U 和零空間 V 是正交子空間的投影。
- 為什麼 RP 在這個定義下不是一個投影？
Michael Mahoney 在您的講義中寫道，這取決於 RP 的構造方式，RP 是否是傳統線性代數意義上的投影。他在第三點和第四點這樣做：
第三，如果隨機向量是完全正交的（因為它們實際上是在原始的 JL 構造中），那麼我們會認為 JL 投影是正交投影
…
但儘管這對高斯人來說是錯誤的， $ \lbrace \pm \rbrace $ 隨機變量和大多數其他構造，可以證明得到的向量近似為單位長度且近似正交
…
這“足夠好”。
因此，原則上，您可以使用僅限於正交矩陣的不同結構進行隨機投影（儘管不需要）。例如看原作：
約翰遜、威廉 B. 和喬拉姆·林登施特勞斯。“將 Lipschitz 映射擴展到 Hilbert 空間。” 當代數學 26.189-206（1984）：1。
…如果一個人隨機選擇一個等級 $ k $ 正交投影 $ l_2^n $
…
為了準確起見，我們讓 $ Q $ 投影到第一個 $ k $ 坐標 $ l_2^n $ 然後讓 $ \sigma $ 歸一化 Haar 測量 $ O(n) $ , 上的正交群 $ l_2^n $ . 那麼隨機變量$$ f: (O(n), \sigma) \to L(l_2^n) $$被定義為$$ f(u) = U^\star Q U $$確定“隨機等級”的概念 $ k $ 投影。”
維基百科條目以這種方式描述了隨機投影（第 10 頁和第 11 頁的講義中也提到了這一點）
https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection
第一行是一個隨機單位向量，從 $ S^{d − 1} $ . 第二行是來自與第一行正交的空間的隨機單位向量，第三行是來自與前兩行正交的空間的隨機單位向量，依此類推。
但是，當您採用正態分佈的矩陣隨機變量和自變量中的所有矩陣條目時，通常不會得到這種正交性（正如 Whuber 在他的評論中提到的一個非常簡單的結果“如果列總是正交的，它們的條目可以不獨立”）。
矩陣 $ R $ 和在正交列的情況下的乘積，可以看作是一個投影，因為它與一個投影矩陣有關 $ P = R^TR $ . 這與將普通最小二乘回歸視為投影有點相同。產品 $ b = R^T x $ 不是投影，但它為您提供了不同基向量中的坐標。“真實”的投影是 $ x' = Rb = R^TRx $ ，投影矩陣為 $ R^TR $ .
投影矩陣 $ P=R^TR $ 需要是子空間上的恆等運算符 $ U $ 那是投影的範圍（請參閱維基百科頁面上提到的屬性）。或者換句話說，它需要具有特徵值 1 和 0，這樣它作為單位矩陣的子空間就是與特徵值 1 相關聯的特徵向量的跨度。使用隨機矩陣條目，您將不會獲得此屬性。這是講義中的第二點
…它在很多方面“看起來”像一個正交矩陣 … $ range(P^T P) $ 是一個均勻分佈的子空間……但特徵值不在 $ \lbrace 0, 1 \rbrace $ .
請注意，在此引用中，矩陣 $ P $ 與矩陣有關 $ R $ 在問題中而不是在投影矩陣中 $ P = R^TR $ 由矩陣隱含 $ R $
因此，不同結構的隨機投影，例如在矩陣中使用隨機條目，並不完全等於正交投影。但它在計算上更簡單，而且根據 Michael Mahoney 的說法，它*“足夠好”。*