自動編碼器是否保留距離？
根據我的理解，自動編碼器用於查找包含基本基礎信息的輸入特徵的緊湊表示。
原始輸入空間中的 L2 距離與縮減（緊湊）空間之間是否存在任何關係？如果不是，我可以訓練網絡以使緊湊表示在轉換後保持距離嗎？
不，他們沒有。我們基本上設計它們，使它們不能保持距離。自編碼器是一種神經網絡，它學習輸入的“有意義”表示，保留其“語義”特徵。引用的詞（就像深度學習論文中的許多術語一樣）沒有嚴格的定義，但是假設，在一組輸入上進行訓練，自動編碼器應該學習這些輸入的一些共同特徵，這允許重建一個看不見的輸入錯誤1。
自動編碼器最小化輸入和輸出（重構輸入）之間差異的最簡單方法是只輸出輸入，即學習恆等函數，它是等距的，因此它保留了距離。但是，我們不希望自動編碼器簡單地學習恆等映射，因為否則我們不會學習“有意義的”表示，或者，更好地說，我們不會通過學習其基本知識來學習“壓縮”輸入語義特徵和“丟棄”微小的細節（噪音，在去噪自動編碼器的情況下）。
為了防止自動編碼器學習恆等變換並強制它壓縮輸入，我們減少了自動編碼器隱藏層（瓶頸層或層）中的單元數量。換句話說，我們迫使它學習一種非線性降維形式：並非沒有，線性自動編碼器和 PCA 之間存在著深厚的聯繫，這是一種眾所周知的線性降維統計程序。
然而，這是有代價的：通過強制自動編碼器執行某種非線性降維，我們阻止它保持距離。事實上，你可以證明兩個歐幾里得空間之間不存在等距，即不存在保距離變換和如果（這在另一個陳述的證明中隱含地證明了）。換句話說，降維變換不能是等距。實際上，這很直觀：如果自動編碼器必須學會映射高維向量空間的元素, 到低維流形的元素嵌入，它將不得不“犧牲”一些方向，這意味著僅沿這些方向不同的兩個向量將映射到. 因此，它們的距離（最初為非零）不會被保留（變為 0）。
注意：可以學習有限元素集的映射 , 到有限的元素集，使得成對距離是守恆的。這就是多維縮放試圖做的事情。但是，不可能映射所有元素到低維空間的元素在保持距離的同時。
1當我們提到我最喜歡的自動編碼器變分自動編碼器時，事情會變得更加複雜，但我不會在這里關注它們。