如何正確實現多重邏輯回歸的迭代重加權最小二乘算法？
我對用於求解邏輯回歸係數的迭代重新加權最小二乘算法感到困惑，如The Elements of Statistical Learning, 2nd Edition (Hastie, Tibshirani, Friedman 2009) 第 121 頁所述。
在將泰勒近似擬合到對數似然之後，該過程的最後一步觀察，是解決以下加權最小二乘問題：
通過尋找， 環境，然後求解,
在哪裡：
,
權重的對角矩陣對角線元素,
擬合概率向量元素,
向量價值觀，
矩陣價值觀，
係數向量.
在表達式（1）的右手部分，s 缺少任何上標。是假定等於? 也就是說，為了解決在 (1) 我們是否插入了最新的更新對於所有值在前面的步驟中計算？
在像這樣的表達中
關鍵是輸出，, 是考慮所有可能的結果或您正在優化的任何其他空間。這就是為什麼沒有上標：在優化問題中是一個虛擬變量，就像積分一樣（我故意寫不是反射是一個虛擬變量，而不是目標參數）。
整個過程包括獲得一個，計算 WLS 的“響應”，然後解決 WLS 問題; 如您所知，我們可以使用導數來獲得一個很好的封閉形式的解決方案對於這個問題。因此，它是固定的，出現在向量中在 WLS 計算中，然後導致. 這就是“迭代”部分，我們使用當前的解決方案來創建一個新的響應向量；然後 WLS 部分正在解決新的問題向量。我們一直這樣做，直到沒有“重大”變化。
請記住，WLS 過程不知道它正在被迭代使用；就它而言，它被呈現在一個,， 和然後輸出
就像在任何其他情況下一樣。我們很聰明地選擇了和和迭代。 更新：我們可以在不使用任何組件導數的情況下推導出 WLS 問題的解決方案。請注意，如果然後我們從中得到
將導數設為 0 並求解我們得到
因此對於任何輸入,， 和（假設 W 是正定的並且是滿列排名）我們得到我們的最佳. 這些輸入是什麼並不重要。所以我們要做的是使用我們的創造我們的向量，然後我們將其代入到輸出最優值的公式中對於給定的輸入。WLS 過程的重點是解決. 它本身不需要插入.