Svm

為什麼要在擬合 SVM 時遇到對偶問題?

  • November 30, 2011

給定數據點和標籤,硬邊距 SVM 原始問題是

這是一個二次程序要優化的變量和約束。雙重的

是一個二次規劃要優化的變量和不平等和等式約束。 在實現硬邊距 SVM 時,**為什麼我要解決對偶問題而不是原始問題?**原始問題對我來說看起來更“直觀”,我不需要關心對偶差距、庫恩-塔克條件等。

如果解決雙重問題對我來說是有意義的,但我懷疑有更好的理由。是這樣嗎?

根據@user765195 的回答(謝謝!)中引用的講義,最明顯的原因似乎是:

解決原始問題,我們得到最優的 $ w $ ,但對 $ \alpha_i $ . 為了對查詢點進行分類 $ x $ 我們需要顯式計算標量積 $ w^Tx $ ,如果_ $ d $ 很大。

解決對偶問題,我們得到 $ \alpha_i $ (在哪裡 $ \alpha_i = 0 $ 除了幾個點之外的所有點 - 支持向量)。為了對查詢點進行分類 $ x $ , 我們計算

$$ w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0 $$

如果只有很少的支持向量,則該術語的計算效率非常高。此外,由於我們現在有一個只涉及數據向量的標量積,我們可以應用內核技巧

引用自:https://stats.stackexchange.com/questions/19181

comments powered by Disqus

相關問答