Maximum-Likelihood
最大似然估計和梯度下降有什麼區別？
這兩種方法的優缺點是什麼？
最大似然估計是通過最大化定義為的似然函數來估計統計模型中的參數的一般方法
即獲取數據的概率給定一些參數值. 知道給定問題的似然函數，您可以尋找這樣的最大化獲得您擁有的數據的概率。有時我們知道估計量，例如算術平均值是 MLE 估計量正態分佈的參數，但在其他情況下，您可以使用不同的方法，包括使用優化算法。ML 方法沒有告訴你如何找到最優值- 您可以簡單地進行猜測並使用可能性來比較哪個猜測更好 - 它只是告訴您如何比較如果一個值比另一個“更有可能”。
梯度下降是一種優化算法。您可以使用此算法找到許多不同函數的最小值（或最大值，然後稱為梯度上升）。該算法並不真正關心它最小化的功能是什麼，它只是做它所要求的。因此，使用優化算法時，您必須以某種方式知道如何判斷感興趣參數的一個值是否比另一個“更好”。你必須為你的算法提供一些函數來最小化，算法將處理找到它的最小值。
您可以使用不同的方法獲得最大似然估計，使用優化算法就是其中之一。另一方面，梯度下降也可用於最大化似然函數以外的函數。