高斯過程（回歸）是否具有通用逼近屬性？
[a, b] 上的任何連續函數，其中 a 和 b 是實數，是否可以通過高斯過程（回歸）逼近或任意接近該函數（在某些範數中）？
正如@Dougal 所說，有兩種不同的方式可以解釋您的問題。它們密切相關，即使看起來可能並非如此。
第一種解釋是：讓是一個緊湊的子集（緊湊性是以下所有內容的基礎！！！），讓是定義在, 並用連續函數的範數空間, 配備最大範數. 對於任何功能， 能夠近似於預先指定的公差通過 RKHS（再現內核希爾伯特空間）中的一個函數? 您可能想知道 RKHS 是什麼，這與高斯過程回歸有什麼關係。一個RKHS是由所有可能函數的所有可能有限線性組合形成的向量空間的閉包在哪裡. 這與高斯過程回歸非常嚴格相關，因為給定先驗高斯過程在空間上，那麼可以由高斯過程回歸生成的所有可能的後驗均值的（閉包）空間正是 RKHS。事實上，所有可能的後驗手段都具有以下形式
即，它們是函數的有限線性組合. 因此，我們實際上是在問，如果給定一個高斯過程先驗在, 對於任何函數總有一個功能在 GPR 可以生成的所有函數的（閉包）空間中，它盡可能接近.
對於某些特定內核（包括經典的平方指數內核，但不包括多項式內核），答案是yes。可以證明，對於這樣的內核密集在_，即對於任何並且對於任何公差， 有一個在這樣. 注意假設：緊湊，是連續的並且是具有所謂的普遍逼近性質的連續核。有關更一般（因此復雜）上下文中的完整證明，請參見此處。
這個結果遠沒有乍一看那麼強大。即使在 GPR 可以生成的後驗均值的（閉包）空間中，我們還沒有證明它是GPR 返回的特定後驗均值，對於足夠大的訓練集，當然訓練集包括嘈雜的觀察在點. 我們甚至還沒有證明 GPR 返回的後驗均值完全收斂，因為！這實際上是@Dougal 提出的第二種解釋。這個問題的答案取決於第一個問題的答案：如果沒有任何功能在 RKHS 中，這是一個“很好的近似值”，當然我們不能希望 GPR 返回的後驗均值收斂到它。然而，這是一個不同的問題。如果您也想知道這個問題的答案，請提出一個新問題。