高斯過程的好處
我對高斯過程的好處感到困惑。我的意思是將其與簡單的線性回歸進行比較，我們已經定義線性函數對數據進行建模。
然而，在高斯過程中，我們定義函數的分佈意味著我們沒有明確定義函數應該是線性的。我們可以定義函數的先驗，即高斯先驗，它定義了函數應該有多平滑等特徵。
所以我們不必明確定義模型應該是什麼。但是，我有疑問。我們確實有邊際似然，使用它我們可以調整高斯先驗的協方差函數參數。所以這類似於定義它應該是的函數類型，不是嗎。
它歸結為定義參數的同一件事，即使在 GP 中它們是超參數。例如在本文中。他們已經定義了 GP 的平均函數類似於
所以絕對定義了模型/功能不是嗎。那麼將函數定義為像 LR 中的線性函數有什麼區別。
我只是沒有明白使用 GP 有什麼好處
讓我們回顧一下關於高斯過程回歸的一些公式。假設我們有一個樣本. 對於此示例，對數似然具有以下形式：
在哪裡是樣本協方差矩陣。那裡是一個協方差函數，我們使用對數似然最大化來調整參數。新點的預測（後驗均值）具有以下形式：
那裡是新點和样本點之間的協方差向量。 現在請注意，高斯過程回歸可以對精確的線性模型進行建模。假設協方差函數具有形式. 在這種情況下，預測具有以下形式：
身份為真以防萬一是非奇異的，但情況並非如此，但這在我們使用協方差矩陣正則化的情況下不是問題。所以，最右邊是線性回歸的精確公式，我們可以使用適當的協方差函數對高斯過程進行線性回歸。 現在讓我們考慮一個帶有另一個協方差函數的高斯過程回歸（例如，形式為的平方指數協方差函數， 那裡是我們調整的超參數矩陣）。顯然，在這種情況下，後驗均值不是線性函數（見圖）。
.
因此，好處是我們可以使用適當的協方差函數對非線性函數進行建模（我們可以選擇最先進的函數，在大多數情況下平方指數協方差函數是一個相當不錯的選擇）。非線性的來源不是你提到的趨勢分量，而是協方差函數。