薄板平滑樣條的概率解釋
TLDR：薄板回歸樣條是否具有概率/貝葉斯解釋？
給定輸入輸出對,; 我想估計一個函數如下
在哪裡是一個核函數並且是大小的特徵向量. 係數和可以通過求解找到
其中的行由並且，由於符號的一些濫用，‘核矩陣的第是. 這給
假如說是一個正定核函數，這個解可以看作是以下貝葉斯模型的最佳線性無偏預測器：
在哪裡和表示高斯過程。參見例如https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/ 我的問題如下。假設我讓和，即薄板樣條回歸。現在，不是半正定函數，上述解釋不起作用。上述模型及其解決方案是否仍然具有概率解釋？是半正定的嗎？
讓問題的模型寫成 $$ \begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation} $$ 在哪裡 $ h(\mathbf{x}) $ 是一個未觀察到的具有索引的 GP $ \mathbf{x} \in \mathbb{R}^d $ 和 $ \varepsilon_i $ 是具有方差的正態噪聲項 $ \sigma^2 $ . 通常假設 GP 是居中的、固定的和非確定性的。請注意，該術語 $ \boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta} $ 可以看作是一個帶有內核的（確定性的）GP $ \boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}, \boldsymbol{\phi}(\mathbf{x}) $ 在哪裡 $ \mathbf{B} $ 是一個“無限值”協方差矩陣。確實，通過採取 $ \mathbf{B} := \rho , \mathbf{I} $ 和 $ \rho \to \infty $ 我們得到了問題的克里金方程。這通常被稱為擴散 先驗 $ \boldsymbol{\beta} $ . 一個適當的後驗 $ \boldsymbol{\beta} $ 僅當矩陣 $ \boldsymbol{\Phi} $ 有滿級。所以模型寫得很好 $$ \begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation} $$ 在哪裡 $ \zeta(\mathbf{x}) $ 是全科醫生。相同的貝葉斯解釋可以在有限制的情況下使用 $ \zeta(\mathbf{x}) $ 不再是 GP，而是內在隨機函數(IRF)。推導可以在 G. Wahba 的書中找到。IRF 概念的可讀介紹例如在 N. Cressie 的書和下面引用的 Mardia 等人的文章中。IRF 類似於離散時間上下文中眾所周知的集成過程（例如 ARIMA）：通過一種差分運算將 IRF 轉換為經典 GP。
這是 IRF 的兩個示例 $ d=1 $ . 首先，考慮一個維納過程 $ \zeta(x) $ 以其初始條件 $ \zeta(0) = 0 $ 替換為擴散初始條件： $ \zeta(0) $ 是正常的，具有無限的方差。一旦一個值 $ \zeta(x) $ 已知，IRF 可以像 Wiener GP 一樣被預測。其次，考慮由等式給出的集成維納過程$$ \text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x $$在哪裡 $ W(x) $ 是維納過程。要獲得 GP，我們現在需要兩個標量參數：兩個值 $ \zeta(x) $ 和 $ \zeta(x’) $ 為了 $ x \neq x' $ , 或值 $ \zeta(x) $ 和 $ \text{d}\zeta(x) / \text{d}x $ 在某些選擇 $ x $ . 我們可以認為這兩個額外的參數是聯合高斯的，具有無限 $ 2 \times 2 $ 協方差矩陣。在這兩個例子中，只要有合適的有限觀測集可用，IRF 就幾乎可以作為 GP 來處理。此外，我們使用了微分算子： $ L := \text{d}/ \text{d}x $ 和 $ L := \text{d}^2/ \text{d}x^2 $ 分別。零空間是線性空間 $ \mathcal{F} $ 功能 $ \phi(x) $ 這樣 $ L \phi = 0 $ . 它包含常量函數 $ \phi_1(x)=1 $ 在第一種情況下和功能 $ \phi_1(x)=1 $ 和 $ \phi_2(x) = x $ 在第二種情況下。請注意，在第一個示例中 $ \zeta(x) - \zeta(x + \delta) $ 是任何固定的 GP $ \delta $ 在第一個例子中和類似地 $ \zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta) $ 在第二種情況下是全科醫生。
對於一般尺寸 $ d $ , 考慮一個線性空間 $ \mathcal{F} $ 定義的函數 $ \mathbb{R}^d $ . 我們稱相 對於 $ \mathcal{F} $ 有限的集合 $ s $ 地點 $ \mathbf{x}i \in \mathbb{R}^d $ 和 $ s $ 實際重量 $ \nu_i $ 這樣 $$
\sum{i=1}^s , \nu_i ,\phi(\mathbf{x}i) = 0 \text{ for all } \phi \in \mathcal{F}. $$ 考慮 $ \mathcal{F} $ 作為我們示例的零空間。對於第一個例子，我們可以舉個例子 $ s=2 $ 和 $ x_1 $ 和 $ x_2 $ 任意和 $ [1, , -1] $ . 對於第二個例子，我們可以採取 $ s = 3 $ 等距 $ x_i $ 沙 $ \boldsymbol{\nu} = [1,,-2,,1] $ . IRF的定義涉及函數空間 $ \mathcal{F} $ 和一個函數 $ g(\mathbf{x}, , \mathbf{x}') $ 這是有條件的積極的 $ \mathcal{F} $ ， 意思就是 $$ \sum{i=1}^s \sum_{j=1}^s \nu_i \nu_j , g(\mathbf{x}_i, , \mathbf{x}'_j) \geq 0 $$ 盡快舉行 $ [\nu_i,,\mathbf{x}i]{i=1}^s $ 是一個增量wrt $ \mathcal{F} $ . 從 $ \mathcal{F} $ 和 $ g(\mathbf{x},,\mathbf{x}') $ 我們可以像 Mardia 等人一樣製作協方差核，從而得到 GP。我們可以從線性微分算子開始 $ L $ 並將零空間用作 $ \mathcal{F} $ ; 然後 IRF 將與等式相關聯 $ L \zeta = $ 高斯噪聲。IRF 預測的計算與問題中的幾乎相同，其中 $ k(\mathbf{x},,\mathbf{x}') $ 取而代之 $ g(\mathbf{x},,\mathbf{x}') $ ，但隨著 $ \phi_i(\mathbf{x}) $ 現在形成了一個基礎 $ \mathcal{F} $ . 額外的約束 $ \boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0} $ 必須添加到優化問題中，這將授予 $ \boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0 $ . 我們仍然可以添加更多不在的基函數 $ \mathcal{F} $ 如果需要的話; 這將具有添加確定性 GP 的效果，例如 $ \boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma} $ 到 IRF $ \zeta(\mathbf{x}) $ 在 (2) 中。
薄板樣條取決於一個整數 $ m $ 這樣 $ 2m> d $ ， 空間 $ \mathcal{F} $ 包含低階多項式，有維數 $ p(m) $ 根據 $ m $ 和 $ d $ . 可以證明，如果 $ E(r) $ 是以下功能 $ r \geq 0 $ $$ E(r) := \begin{cases} (-1)^{m + 1 + d /2} , r^{2m-d} \log r & d \text{ even},\ r^{2m-d} & d \text{ odd,} \end{cases} $$然後 $ g(\mathbf{x},,\mathbf{x}') := E(|\mathbf{x} - \mathbf{x}'|) $ 定義了一個有條件的積極 wrt $ \mathcal{F} $ . 該結構涉及微分算子 $ L $ . 事實證明，對於 $ d=1 $ 和 $ m=2 $ 薄板樣條只不過是通常的自然三次樣條，它與上面的集成維納示例有關，具有 $ g(x,,x') = |x - x'|^3 $ . 所以（2）只不過是通常的平滑樣條模型。什麼時候 $ d=2 $ 和 $ m=2 $ 零空間有維度 $ p(m)=3 $ 並由函數生成 $ 1 $ , $ x_1 $ 和 $ x_2 $ .
Mardia KV、Kent JT、Goodall CR 和 Little JA。帶有衍生信息的克里金法和样條曲線。Biometrika (1996), 83,1, pp. 207-221。