什麼是函數分佈?
我正在閱讀CE Rasmussen 和 CKI Williams 編寫*的機器學習高斯過程*教科書,但我在理解函數分佈的含義時遇到了一些麻煩。在教科書中,給出了一個例子,人們應該把一個函數想像成一個很長的向量(實際上,它應該是無限長的?)。因此,我將函數的分佈想像為繪製在此類向量值“上方”的概率分佈。那麼函數會採用這個特定值的概率嗎?還是函數將採用給定範圍內的值的概率?還是函數上的分佈是分配給整個函數的概率?
教科書引述:
第 1 章:簡介,第 2 頁
高斯過程是高斯概率分佈的推廣。概率分佈描述的是標量或向量的隨機變量(對於多元分佈),隨機過程控制函數的屬性。拋開數學複雜性不談,我們可以將函數大致視為一個非常長的向量,向量中的每個條目指定特定輸入 x 處的函數值 f(x)。事實證明,雖然這個想法有點天真,但它驚人地接近我們所需要的。事實上,我們如何處理這些無限維對象的問題具有可以想像的最令人愉快的解決方案:如果您只要求函數在有限數量的點上的屬性,
第 2 章:回歸,第 7 頁
有幾種方法可以解釋高斯過程 (GP) 回歸模型。可以將高斯過程視為定義函數的分佈,並且直接在函數空間中進行推理,即函數空間視圖。
從最初的問題:
我製作了這張概念圖,試圖為自己形象化。我不確定我為自己做出的這種解釋是否正確。
更新後:
在Gijs的回答之後,我將圖片更新為在概念上更像這樣:
這個概念比通常的分佈更抽像一些。問題是我們習慣了分佈的概念 $ \mathbb{R} $ ,通常顯示為一條線,然後將其擴展為一個曲面 $ \mathbb{R}^2 $ ,依此類推到分佈 $ \mathbb{R}^n $ . 但函數空間不能表示為正方形、直線或向量。像你一樣這樣想不是犯罪,而是有效的理論 $ \mathbb{R}^n $ ,與距離、鄰域等(這被稱為空間的拓撲)有關,在函數空間中是不一樣的。所以把它畫成一個正方形會給你關於那個空間的錯誤直覺。
你可以簡單地把函數空間想像成一個函數的大集合,如果你願意的話,也可以是一袋東西。然後,此處的分佈為您提供了繪製這些事物子集的概率。分佈會說:您的下一次繪製(函數)在這個子集中的概率是,例如,10%。在二維函數的高斯過程的情況下,您可能會問,給定
x
- 坐標和間隔y
-values,這是一條小的垂直線段,(隨機)函數通過這條小線的概率是多少?這將是一個積極的可能性。因此,高斯過程指定了函數空間上的(概率)分佈。在這個例子中,函數空間的子集是通過線段的子集。這裡另一個令人困惑的命名約定是分佈通常由密度函數指定,例如具有正態分佈的鐘形。在那裡,分佈函數下的區域告訴您間隔的可能性有多大。然而,這並不適用於所有發行版,特別是在函數的情況下(不是 $ \mathbb{R} $ 與正態分佈一樣),這根本不起作用。這意味著您將無法將此分佈(由高斯過程指定)寫為密度函數。