薄板平滑樣條的概率解釋
TLDR：薄板回歸樣條是否具有概率/貝葉斯解釋？
給定輸入輸出對,; 我想估計一個函數如下
在哪裡是一個核函數並且是大小的特徵向量. 係數和可以通過求解找到
其中的行由並且，由於符號的一些濫用，‘核矩陣的第是. 這給
假如說是一個正定核函數，這個解可以看作是以下貝葉斯模型的最佳線性無偏預測器：
在哪裡和表示高斯過程。參見例如https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/ 我的問題如下。假設我讓和，即薄板樣條回歸。現在，不是半正定函數，上述解釋不起作用。上述模型及其解決方案是否仍然具有概率解釋？是半正定的嗎？
讓問題的模型寫成 Yi=ϕ(xi)⊤β+h(xi)+εi
在哪裡 h(x) 是一個未觀察到的具有索引的 GP x∈Rd 和 εi 是具有方差的正態噪聲項 σ2 . 通常假設 GP 是居中的、固定的和非確定性的。請注意，該術語 ϕ(x)⊤β 可以看作是一個帶有內核的（確定性的）GP ϕ(x)⊤B,ϕ(x) 在哪裡 B 是一個“無限值”協方差矩陣。確實，通過採取 B:=ρ,I 和 ρ→∞ 我們得到了問題的克里金方程。這通常被稱為擴散 先驗 β . 一個適當的後驗 β 僅當矩陣 Φ 有滿級。所以模型寫得很好 Yi=ζ(xi)+εi在哪裡 ζ(x) 是全科醫生。相同的貝葉斯解釋可以在有限制的情況下使用 ζ(x) 不再是 GP，而是內在隨機函數(IRF)。推導可以在 G. Wahba 的書中找到。IRF 概念的可讀介紹例如在 N. Cressie 的書和下面引用的 Mardia 等人的文章中。IRF 類似於離散時間上下文中眾所周知的集成過程（例如 ARIMA）：通過一種差分運算將 IRF 轉換為經典 GP。這是 IRF 的兩個示例 d=1 . 首先，考慮一個維納過程 ζ(x) 以其初始條件 ζ(0)=0 替換為擴散初始條件： ζ(0) 是正常的，具有無限的方差。一旦一個值 ζ(x) 已知，IRF 可以像 Wiener GP 一樣被預測。其次，考慮由等式給出的集成維納過程d2ζ(x)/dx2=dW(x)/dx
在哪裡 W(x) 是維納過程。要獲得 GP，我們現在需要兩個標量參數：兩個值 ζ(x) 和 ζ(x′) 為了 x≠x′ , 或值 ζ(x) 和 dζ(x)/dx 在某些選擇 x . 我們可以認為這兩個額外的參數是聯合高斯的，具有無限 2×2 協方差矩陣。在這兩個例子中，只要有合適的有限觀測集可用，IRF 就幾乎可以作為 GP 來處理。此外，我們使用了微分算子： L:=d/dx 和 L:=d2/dx2 分別。零空間是線性空間 F 功能 ϕ(x) 這樣 Lϕ=0 . 它包含常量函數 ϕ1(x)=1 在第一種情況下和功能 ϕ1(x)=1 和 ϕ2(x)=x 在第二種情況下。請注意，在第一個示例中 ζ(x)−ζ(x+δ) 是任何固定的 GP δ 在第一個例子中和類似地 ζ(x−δ)−2ζ(x)+ζ(x+δ) 在第二種情況下是全科醫生。對於一般尺寸 d , 考慮一個線性空間 F 定義的函數 Rd . 我們稱相 對於 F 有限的集合 s 地點 $ \mathbf{x}i \in \mathbb{R}^d 和 s 實際重量 \nu_i 這樣$
\sum{i=1}^s , \nu_i ,\phi(\mathbf{x}i) = 0 \text{ for all } \phi \in \mathcal{F}. $$ 考慮 F 作為我們示例的零空間。對於第一個例子，我們可以舉個例子 s=2 和 x1 和 x2 任意和 [1,,−1] . 對於第二個例子，我們可以採取 s=3 等距 xi 沙 ν=[1,,−2,,1] . IRF的定義涉及函數空間 F 和一個函數 g(x,,x′) 這是有條件的積極的 F ， 意思就是 $$ \sum{i=1}^s \sum_{j=1}^s \nu_i \nu_j , g(\mathbf{x}_i, , \mathbf{x}'_j) \geq 0 $$ 盡快舉行 $ [\nu_i,,\mathbf{x}i]{i=1}^s 是一個增量wrt \mathcal{F} .從 \mathcal{F} 和 g(\mathbf{x},,\mathbf{x}') 我們可以像Mardia等人一樣製作協方差核，從而得到GP。我們可以從線性微分算子開始 L 並將零空間用作 \mathcal{F} ;然後IRF將與等式相關聯 L \zeta = $ 高斯噪聲。IRF 預測的計算與問題中的幾乎相同，其中 k(x,,x′) 取而代之 g(x,,x′) ，但隨著 ϕi(x) 現在形成了一個基礎 F . 額外的約束 Φ⊤α=0 必須添加到優化問題中，這將授予 α⊤Kα≥0 . 我們仍然可以添加更多不在的基函數 F 如果需要的話; 這將具有添加確定性 GP 的效果，例如 ψ(x)⊤γ 到 IRF ζ(x) 在 (2) 中。
薄板樣條取決於一個整數 m 這樣 2m>d ， 空間 F 包含低階多項式，有維數 p(m) 根據 m 和 d . 可以證明，如果 E(r) 是以下功能 r≥0 E(r):={(−1)m+1+d/2,r2m−dlogrd even, r2m−dd odd,
然後 g(x,,x′):=E(|x−x′|) 定義了一個有條件的積極 wrt F . 該結構涉及微分算子 L . 事實證明，對於 d=1 和 m=2 薄板樣條只不過是通常的自然三次樣條，它與上面的集成維納示例有關，具有 g(x,,x′)=|x−x′|3 . 所以（2）只不過是通常的平滑樣條模型。什麼時候 d=2 和 m=2 零空間有維度 p(m)=3 並由函數生成 1 , x1 和 x2 .Mardia KV、Kent JT、Goodall CR 和 Little JA。帶有衍生信息的克里金法和样條曲線。Biometrika (1996), 83,1, pp. 207-221。