三元網絡 L2 歸一化的目的

基於三元組的人臉識別遠程學習似乎非常有效。我對這篇論文的一個特定方面感到好奇。作為尋找人臉嵌入的一部分，作者使用 L2 歸一化對隱藏單元進行歸一化，這將表示限制在超球面上。為什麼這有幫助或需要？

歸一化向量之間的平方歐幾里得距離與其餘弦相似度成正比（參考：維基百科），

所以使用歸一化的優勢或多或少是餘弦相似度相對於歐幾里得距離的優勢。正如安迪瓊斯的回答中提到的那樣，如果沒有標準化將邊距縮放一個因子，只會相應地縮放嵌入。 另一個不錯的特性是，通過這種歸一化，可以保證平方歐幾里得距離的值在範圍內，這為我們節省了選擇合適的邊距參數的工作量.

例如，在本文引用的另一篇論文中，它使用了所謂的彈簧模型，該模型基於（未歸一化的）平方歐幾里得距離，其中一個實際困難是確定適當的邊距和分割點，因為嵌入不斷變化為訓練進行。

如果你正在尋找自己實現規範化層，這裡有一篇關於 Caffe 的推導和實現的博客（部分博客是中文但不影響閱讀）。

引用自：https://stats.stackexchange.com/questions/248511