“正則化”一詞的由來
當我向我的學生介紹概念時，我經常發現告訴他們術語的來源很有趣（例如，“回歸”是一個有趣的術語）。我無法找到統計/機器學習中“正則化”一詞的歷史/背景。
那麼，正則化一詞的由來是什麼？
與 Matthew Gunn 的貢獻類似，這也不是一個真正的答案，而是一個似是而非的候選人。
我也是在Tikhonov 正則化的背景下第一次聽說“正則化”這個術語，特別是在地球物理學中的（線性）逆問題的背景下。有趣的是，雖然我認為這可能是由於我的研究領域（即查看我的用戶名），但顯然Tikhonov實際上在該領域做了很多工作！
我的預感是現代的“正則化”方法很可能起源於 Tikhonov 的工作。基於這個推測，我在這裡的貢獻有兩個部分。
第一部分本質上是（扶手椅）歷史性的（基於仔細閱讀論文標題和我自己先前的偏見！）。雖然 1963 年的論文解決錯誤公式化問題和正則化方法似乎是“正則化”一詞的第一次使用，但我不太確定這是真的。這個參考在維基百科中被引用為
安提霍諾夫 (1963)。“О решении некорректно поставленных задач и методе регуляризации”。Doklady Akademii Nauk SSSR。151：501-504。翻譯為“錯誤公式化問題的解決方案和正則化方法”。蘇聯數學。4：1035-1038。
給人的印像是，Tikhonov 本人至少最初用俄語寫了部分作品，因此“正則化”一詞可能是後來的譯者創造的。**[更新：不，“регуляризации” = 正則化，參見 Cagdas Ozgenc 的評論。]**此外，這項工作似乎是 Tikhonov 在更長時間內進行的連續研究的一部分。例如紙
吉霍諾夫，安德烈·尼古拉耶維奇 (1943)。“Об устойчивости обратных задач” [論逆問題的穩定性]。Doklady Akademii Nauk SSSR。三十九（5）：195-198。
表明他至少在 20 年前就從事過同一個主題。然而，這個時間線表明，反問題的工作可能始於 1963 年，而不是 1943 年。
[更新：1943 年論文的翻譯表明，這裡的“規律性”術語是指“逆問題的穩定性（或逆映射的連續性）”。]
我貢獻的第二部分是關於“正則化”最初可能在這種情況下的意圖的假設。“規則”通常用作“平滑”的同義詞，特別是在描述曲線和/或曲面幾何時。在大多數地球物理學應用中，所需的解決方案是對空間分佈場進行一些網格估計，並且使用 Tikhonov 正則化來施加平滑先驗。
（Tikhonov 矩陣通常是離散空間導數算子，類似於 PDE 矩陣，與嶺回歸的單位矩陣。這是因為對於這些網格/前向模型，前向模型矩陣的零空間往往包括諸如“棋盤模式”之類的東西會污染結果，除非受到懲罰；類似於這個）。
更新：我在此處的回答中說明了這些問題。
概括
- 我還投票支持 Tikhonov 作為發起人（可能在 1963 年左右）
- 最初的應用可能是地球物理反演建模，因此術語“正則化”可能是指使生成的地圖* 更平滑，即“正則化”。
（根據 1943 年論文的更新引述，這個措辭似乎是正確的……但原因是錯誤的！相關的“地圖”不在網格和字段之間，，但來自正向模型的逆*映射.)