Optimization
通過制定全局可優化的成本函數來解決問題的優勢
這是一個相當普遍的問題（即不一定特定於統計數據），但我注意到機器學習和統計文獻中的一個趨勢，作者更喜歡遵循以下方法：
方法1：通過制定一個成本函數來獲得一個實際問題的解決方案，該成本函數可能（例如從計算的角度）找到一個全局最優解（例如通過制定一個凸成本函數）。
而不是：
方法2：通過制定一個我們可能無法獲得全局最優解的成本函數來獲得相同問題的解（例如，我們只能獲得局部最優解）。
請注意，嚴格來說，這兩個問題是不同的；假設我們可以為第一個找到全局最優解，但不能為第二個找到全局最優解。
除了其他考慮因素（即速度、易於實施等），我正在尋找：
- 對這一趨勢的解釋（例如數學或歷史論證）
- 在解決實際問題時遵循方法 1 而不是方法 2 的好處（實際和/或理論）。
我認為目標應該是優化您感興趣的函數。如果這恰好是錯誤分類的數量 - 而不是二項式可能性，例如 - 那麼您應該嘗試最小化錯誤分類的數量。然而，由於提到的許多實際原因（速度、實施、不穩定性等），這可能並不那麼容易，甚至可能是不可能的。在這種情況下，我們選擇近似解。
我基本上知道兩種近似策略；要么我們提出試圖直接逼近原始問題的解決方案的算法，要么我們將原始問題重新表述為更直接可解決的問題（例如凸鬆弛）。
偏愛一種方法而不是另一種方法的數學論據是，我們是否能夠理解 a) 實際計算的解決方案的屬性，以及 b) 解決方案與我們實際感興趣的問題的解決方案的近似程度。
我知道統計中的許多結果，我們可以證明優化問題的解決方案的屬性。對我來說，分析算法的解決方案似乎更加困難，因為您沒有計算出的數學公式（例如，它解決了給定的優化問題）。我當然不會聲稱你不能，但如果你能對你的計算給出一個清晰的數學公式，這似乎是一個理論上的好處。
我不清楚這樣的數學論點是否比方法 2 對方法 1 有任何實際好處。肯定有人不怕非凸損失函數。