偏最小二乘法中的“偏”是什麼？
在偏最小二乘回歸 (PLSR) 或偏最小二乘結構方程建模 (PLS-SEM) 中，術語“偏”指的是什麼？
我想從歷史的角度來回答這個問題，這很有趣。發明偏最小二乘法 (PLS)方法的Herman Wold並沒有立即開始使用術語PLS（甚至提到術語partial）。在最初的時期（1966-1969 年），他將這種方法稱為**NILES——**這是他在 1966 年發表的關於迭代最小二乘法非線性估計的最初論文的術語和標題的縮寫。
正如我們所看到的，後來被稱為部分的過程被稱為迭代，專注於估計權重和潛在變量 (LV) 過程的迭代性質。“最小二乘”術語來自使用*普通最小二乘 (OLS)回歸來估計模型的其他未知參數 (Wold, 1980)。似乎*“部分”一詞源於 NILES 程序，該程序實現了“將模型的參數拆分為子集以便可以部分估計它們的想法”**（Sanchez，2013 年，第 216 頁；強調我的） .
PLS 一詞的第一次使用出現在非線性迭代偏最小二乘 (NIPALS) 估計程序論文中，該論文標誌著 PLS 歷史的下一個時期 - NIPALS 建模時期。1970 年代和 1980 年代成為軟建模時期，受 Karl Joreskog 對 SEM 的 LISREL 方法的影響，Wold 將 NIPALS 方法轉變為軟建模，這基本上形成了現代 PLS 方法的核心（PLS 一詞在 1970 年代末成為主流）。1990 年代是 PLS 歷史上的下一個時期，Sanchez (2013) 稱之為“差距”時期，其主要特點是其使用減少。幸運的是，從 2000 年代開始（鞏固期)，PLS 作為一種非常流行的 SEM 分析方法獲得了回報，尤其是在社會科學領域。
更新（回應變形蟲的評論）：
- 也許，桑切斯的措辭在我引用的那句話中並不理想。我認為“部分估計”適用於潛在的變量 塊。Wold (1980) 詳細描述了這個概念。
- 沒錯，NIPALS 最初是為 PCA 開發的。混淆源於同時存在線性 PLS 和非線性 PLS 方法的事實。我認為 Rosipal (2011) 很好地解釋了這些差異（至少，這是我迄今為止看到的最好的解釋）。
更新2（進一步澄清）：
為了回應變形蟲的回答中表達的擔憂，我想澄清一些事情。在我看來，我們需要區分 NIPALS 和 PLS 之間“部分”一詞的使用。這產生了兩個單獨的問題：1）NIPALS 中“部分”的含義和 2）PLS 中“部分”的含義（這是 Phil2014 的原始問題）。雖然我不確定前者，但我可以進一步澄清後者。
根據 Wold、Sjöström 和 Eriksson (2001) 的說法，
PLS 中的“部分”表示這是一個部分回歸，因為……
換句話說，“部分”源於這樣一個事實，即NIPALS 算法對 PLS 的數據分解可能**不包括所有組件，因此是“部分”。如果可以在“部分”數據上使用算法，我懷疑同樣的原因通常適用於 NIPALS。這將解釋 NIPALS 中的“P”。
關於在 NIPALS 定義中使用“非線性”一詞（不要與表示 PLS 方法的非線性變體的非線性 PLS混淆！），我認為它不是指算法本身，而是指非線性模型，可以是使用基於線性回歸的 NIPALS 進行分析。
更新 3（赫爾曼沃爾德的解釋）：
雖然 Herman Wold 1969 年的論文似乎是關於 NIPALS 的最早論文，但我設法找到了另一篇關於該主題的最早論文。這是 Wold (1974) 的一篇論文，其中 PLS 的“父親”提出了他在 NIPALS 定義中使用“部分”一詞的理由（第 71 頁）：
3.1.4。NIPALS 估計：迭代 OLS。如果模型的一個或多個變量是潛在的，則預測關係不僅涉及未知參數，還涉及未知變量，從而導致估計問題變為非線性。如 3.1 (iii) 所示，NIPALS 通過迭代過程解決此問題，例如步驟 s = 1, 2, … 每個步驟 s 涉及有限數量的 OLS 回歸，一個用於模型的每個預測變量關係。每個這樣的回歸都給出了未知參數和潛在變量子集的代理估計（因此稱為偏最小二乘法），並且這些代理估計在程序的下一步中用於計算新的代理估計。
參考
羅西帕爾，R. (2011)。非線性偏最小二乘：概述。在 Lodhi H. 和 Yamanishi Y. (Eds.)，化學信息學和高級機器學習視角：複雜計算方法和協作技術，第 169-189 頁。ACCM，IGI 全球。取自http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf
桑切斯，G.（2013 年）。使用加利福尼亞州伯克利的 R.Berkeley進行 PLS 路徑建模：Trowchez 版本。取自http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
沃爾德，H.（1974 年）。具有潛在變量的因果流：根據 NIPALS 建模的方式分道揚鑣。歐洲經濟評論，5，67-86。北荷蘭出版社。
沃爾德，H. (1980)。缺乏理論知識時的模型構建與評估：偏最小二乘的理論與應用。在 J. Kmenta 和 JB Ramsey (Eds.)，計量經濟模型的評估，第 47-74 頁。紐約：學術出版社。取自http://www.nber.org/chapters/c11693
Wold, S.、Sjöström, M. 和 Eriksson, L. (2001)。PLS-回歸：化學計量學的基本工具。化學計量學和智能實驗室系統，58，109-130。doi:10.1016/S0169-7439(01)00155-1 檢索自http://www.libpls.net/publication/PLS_basic_2001.pdf