Machine-Learning
什麼是ℓpℓpell_p規範以及它們與正則化有何關係？
最近我看到很多關於稀疏表示的論文，其中大多數都使用規範並做一些最小化。我的問題是，什麼是規範和混合規範？它們與正則化有何關係？
謝謝
norms 是接受向量並返回非負數的函數。它們被定義為
在這種情況下，這稱為歐幾里得範數。您可以將歐幾里得距離定義為. 什麼時候, 這只是意味著（或者）。嚴格來講，必須至少為一個成為一個規範。如果， 然後並不是真正的規範，因為規範必須滿足三角不等式。 （還有規範，它們是類似定義的，除了函數而不是向量或序列——實際上這是同一件事，因為向量是具有有限域的函數。）
我不知道在機器學習應用程序中規範有什麼用處, 除非在. 通常你會看到或者，或者有時你想放鬆的地方案件;不是嚴格凸的， 但是，對於. 在某些情況下，這可以使找到解決方案“更容易”。
在正則化的上下文中，如果添加對於您的目標函數，您所說的是您期望的是稀疏的，即主要由零組成。這有點技術性，但基本上，如果有一個密集的解決方案，那麼可能會有一個具有相同規範的稀疏解決方案。如果您希望您的解決方案是密集的，您可以添加 達到您的目標，因為這樣使用它的導數會容易得多。兩者都用於防止解決方案過重。
當您嘗試整合多個來源時，就會出現混合規範。基本上，您希望解決方案向量由幾部分組成， 在哪裡是某個來源的索引。這規範只是-所有的規範-規範收集在一個向量中。IE，
這樣做的目的不是“過度稀疏”一組解決方案，比如使用. 單個部分是稀疏的，但您不會冒險通過採用-所有解決方案的規範。所以你使用-norm 在外面代替。
希望有幫助。
有關詳細信息，請參閱本文。