許多二元分類器與單個多類分類器

在確定使用多個二元分類器還是單個多類分類器時應考慮哪些因素？

例如，我正在構建一個進行手勢分類的模型。一個簡單的案例有 4 個輸出：[None, thumbs_up, clenched_fist, all_fingers_extended]。我看到了兩種方法來解決這個問題：

選項 1 - 多個二元分類器

1. [無，豎起大拇指]
2. [沒有，緊握的拳頭]
3. [無，all_fingers_extended]

選項 2 - 單個多類分類器

1. [無，豎起大拇指，先攥緊，全指加長]

---

哪種方法往往更好，在什麼條件下？

您的選項 1 可能不是最好的選擇；如果您想擁有多個二元分類器，請嘗試一種稱為One-vs-All的策略。

在One-vs-All中，您基本上擁有一個專家二元分類器，該分類器非常擅長從所有其他模式中識別出一種模式，並且實施策略通常是級聯的。例如：

 if classifierNone says is None: you are done
 else:
   if classifierThumbsUp says is ThumbsIp: you are done
   else:
     if classifierClenchedFist says is ClenchedFist: you are done
     else:
       it must be AllFingersExtended and thus you are done

以下是 Andrew Ng 課程中 One-vs-all 的圖解說明：

---

多類分類器的優缺點：

優點：

• 開箱即用，易於使用
• 當你有很多課程時很棒

缺點：

• 在訓練期間通常比二元分類器慢
• 對於高維問題，他們真的需要一段時間才能收斂

流行的方法：

• 神經網絡
• 基於樹的算法

---

一對多分類器的優缺點：

優點：

• 由於它們使用二元分類器，因此它們通常收斂速度更快
• 當你有幾門課時很棒

缺點：

• 當你有太多的類時處理真的很煩人
• 在訓練時你真的需要小心以避免引入偏差的類不平衡，例如，如果你有 1000 個樣本none和 3000 個thumbs_up類樣本。

流行的方法：

• 支持向量機
• 大多數集成方法
• 基於樹的算法

引用自：https://stats.stackexchange.com/questions/318520