Least-Squares
遞歸最小二乘的直覺
最小二乘公式，可以遞歸地表示為
在哪裡表示使用觀測值的最小二乘估計， 和表示矩陣. 這可以通過歸納來證明，而且很簡潔，因為我們需要知道關於先前觀察的所有信息被捕獲和.
我正在閱讀的這本書提出了一種歸納證明，它不太難並且確定了正確性。然而，在我看來，一個聰明的投影論證和/或一個聰明的貝葉斯解釋可以幫助你了解遞歸公式。經過快速的谷歌搜索，我也沒有找到。
簡而言之：遞歸最小二乘法背後你最喜歡的直覺是什麼？
它大致讓人想起卡爾曼濾波器（其中“狀態變量”是 LS 估計器），並且在任何情況下都是過去估計和當前數據的加權平均值（可能是凸組合）（並且它是自適應估計器）。我將使用帽子來表示估計量。重寫基本方程
作為
要使用標準卡爾曼濾波器符號，定義
然後你到達
如果在於那麼這個加權平均就變成了一個凸組合，因此表現出具有可變平滑因子的指數平滑。
不管你怎麼稱呼它，這都是非常直觀的：我給我以前的結果一些權重，對新數據一些權重。
直覺並不止於此。將第二個方程重寫為
這始終是過去數據和當前數據的凸組合，隨著過去數據的累積（即作為增加）。
參考
文獻 RLS 是一種隨機逼近算法，Ljung, L. (1977) 是關於該算法的開創性論文。遞歸隨機算法分析。自動控制，IEEE Transactions on，22(4)，551-575。
遞歸最小二乘法在經濟學學科的自適應學習文獻中得到了廣泛的應用。關於物質的機制以及與遞歸隨機算法的關係的清晰闡述可以在第 2 章中找到。6 Evans, GW, Honkapohja, S. (2001)。宏觀經濟學中的學習和期望。普林斯頓大學出版社。