Linear-Algebra

線性變換後餘弦相似度如何變化?

  • April 2, 2016

之間是否存在數學關係:

  • 餘弦相似度 兩個向量的和, 和
  • 餘弦相似度的和,通過給定矩陣非均勻縮放? 這裡是一個給定的對角矩陣,對角線上的元素不相等。

我試圖檢查計算,但無法找到一個簡單/有趣的鏈接(表達式)。我想知道是否有一個。


例如,在非均勻縮放中角度不會被保留,但是原始角度與非均勻縮放後的角度之間的關係是什麼?關於一組向量 S1 和另一組向量 S2 之間的聯繫,可以說些什麼——其中 S2 是通過非均勻縮放 S1 獲得的?

因為是相當普遍的,餘弦相似度的變化取決於特定的和以及他們之間的關係, 沒有確定的公式是可能的。然而,餘弦相似度可以改變多少實際上存在可計算的限制。它們可以通過極端化之間的角度來找到和鑑於之間的餘弦相似度和是一個指定的值,比如說(在哪裡是之間的角度和)。答案告訴我們任何角度可能會因轉型而彎曲.

計算可能會變得混亂。一些巧妙的符號選擇,以及一些初步的簡化,減少了工作量。事實證明,二維的解決方案揭示了我們需要知道的一切。 這是一個易於處理的問題,僅取決於一個實變量,使用微積分技術很容易解決。一個簡單的幾何參數將此解決方案擴展到任意數量的維度.

數學預備課程

根據定義,任意兩個向量夾角的餘弦和通過將它們歸一化為單位長度並取它們的乘積來獲得。因此,

並且,寫作, 圖像之間夾角的餘弦和轉型下是

**請注意,只有分析中的問題,**而不是本身。因此,我們可以利用奇異值分解 (SVD)簡化問題。回想一下,這表示作為正交矩陣的乘積(從右到左), 對角矩陣, 和另一個正交矩陣:

換句話說,有一個特權向量的基礎(的列) 在哪個通過重新調整每個行為分別由對角線入口(我會稱之為) 然後應用旋轉(或反旋轉)到結果。最終旋轉不會改變任何長度或角度,因此不應影響. 您可以通過計算正式看到這一點

因此,要研究我們可以自由更換由任何其他產生相同值的矩陣. 通過訂購所以這樣尺寸減小(並假設不完全為零),一個不錯的選擇是

的對角線元素是

具體來說,效果(無論是原始形式還是改變形式)在所有角度上完全取決於以下事實:

特殊情況分析

讓. 因為改變向量的長度不會改變它們之間的角度,我們可以假設和是單位向量。在平面上,所有這些矢量都可以用它們所形成的角度來指定, 允許我們寫

所以

(見下圖。)

申請很簡單:它固定第一個坐標和並將它們的第二個坐標乘以. 因此角度從到是

因為是一個連續函數,這個角度差是一個連續函數. 事實上,它是可區分的。這允許我們通過檢查導數的零點來找到極端角度. 該導數很容易計算:它是三角函數的比率。零點只能出現在其分子的零點之間,因此我們不必費心計算分母。我們獲得

的特殊情況,,和很容易理解:它們對應於以下情況等級降低(因此將所有向量壓縮到一條線上);在哪裡是單位矩陣的倍數;和在哪裡和是平行的(因此它們之間的角度不能改變,無論)。案子被條件排除.

除了這些特殊情況,零僅出現在: 那是,要么. 這意味著由平分角. 我們現在知道,夾角的極值和必須位於以下值之間,所以讓我們計算它們:

對應的餘弦是

通常只要了解如何扭曲直角。在這種情況下,, 導致,您可以將其代入前面的公式。

請注意,較小的變得,這些角度變得越極端,失真就越大。

顯示四種配置的圖

此圖顯示了向量的四種配置和相隔一個角度. 下的單位圓及其橢圓圖像陰影供參考(與動作統一重新調整以使)。圖標題表示的值, 的中點和. 最接近的任何此類和轉換時可以來是一個像左邊的配置. 它們可以相距最遠的是右側的配置. 顯示了兩種中間可能性。

所有維度的解決方案

我們已經看到如何通過擴展每個維度來行動通過一個因素. 這會扭曲單位球體成一個橢球體。這確定其主軸。這是沿這些軸從原點到橢球的距離。因此最小的一個,, 是從原點到橢球的最短距離(在任何方向上)和最大的距離,, 是從原點到橢球的最遠距離(在任何方向上)。

在更高維度,和是二維子空間的一部分。 將該子空間中的單位圓映射到橢球與平面的交點和. 這個交點是圓的線性變形,是一個橢圓。顯然到這個橢圓的最遠距離不超過最短距離不小於.

正如我們在上一節末尾所觀察到的,最極端的可能性是當和位於包含兩個其中對應的比例盡可能小。這將發生在飛機。 對於這種情況,我們已經有了解決方案。

結論

通過應用可獲得的餘弦相似度的極值到兩個具有餘弦相似度的向量由和. 它們是通過定位來實現的和與一個方向等角度最大限度地延長任何向量(例如方向)並將它們分開的方向最小地延長任何向量(例如方向)。

這些極值可以根據 SVD 計算.

引用自:https://stats.stackexchange.com/questions/205099

comments powered by Disqus