Optimization
對於具有許多局部最優和昂貴目標函數的問題，使用哪種優化算法？[複製]
我對這些屬性有優化問題：
- 目標函數的計算成本並不低。在優化中最多可以評估大約 10^4 次。
- 有很多局部最優。
- 高值聚集在最大值附近，所以問題有點凸。
- 解決方案被限制在一個已知的超級盒中。
- 梯度未知，但直觀上，函數是平滑的。
- 它是多達 50 個變量的函數。下圖是二維特殊情況的示例。
Nelder-Mead 經常陷入局部最優。以上三個變量，沒有使用蠻力的機會。我研究過遺傳算法，但它們似乎需要對目標函數進行大量評估。
我應該尋找什麼樣的算法？
在沒有導數的昂貴函數的情況下，一個有用的優化抽象框架是
Compute the function in few points (it may be a regular grid or even not) Repeat Interpolate data/fit into a stochastic model Validate the model through statistical tests Find the model’s maximum. If it is better that the best one you previously have got, update the maximum Put this point in the dataset這也應該與您提到的偽凸性非常吻合。
此處參考：