Optimization
基於梯度下降的最小化算法，不需要初始猜測接近全局最優值
梯度下降算法（例如Levenberg-Marquardt 算法）的問題在於，它們會收斂到最接近初始猜測的最小值，因此當從不同位置開始時，您最終會處於不同的最小值。
是否有一種基於梯度的算法，無論從哪裡開始都能給出相似的結果？例如，將逃避淺最小值，因此更有可能收斂到全局最小值，或者至少是類似於全局的局部最小值。這可以通過給梯度下降“慣性”來實現，因此當備選方案向下移動偏導數時，它會獲得動量，然後一旦所有偏導數都為零（即最小值），算法將繼續沿該方向移動它以前是這樣，但開始放緩，因為它現在正在上升偏導數。這將有助於它擺脫局部最小值並找到全局最小值。
存在這樣的算法嗎？（這不是像遺傳算法或粒子群優化那樣的全局優化算法）
這比直接解決方案更像是一種解決方法，但避免局部最小值的常用方法是從不同的起始位置多次運行您的算法。然後，您可以將最佳結果或平均值作為最終結果。
您可能想要取平均值而不是最佳值的原因是為了避免過度擬合。許多存在局部最小值問題的模型類型都有很多參數：決策樹、神經網絡等。簡單地採取最佳結果可能會導致模型無法很好地推廣到未來數據。採取平均防範措施。
您可以使用任意複雜的方法進行平均。看一下