是否可以在離散分佈和連續分佈之間應用 KL 散度？

我不是數學家。我已經在互聯網上搜索了有關 KL Divergence 的信息。我學到的是 KL 散度衡量了當我們根據輸入分佈近似模型分佈時丟失的信息。我已經在任何兩個連續或離散分佈之間看到了這些。我們可以在連續和離散之間進行嗎？反之亦然？

否：KL 散度僅在公共空間上的分佈上定義。它詢問一個點的概率密度在兩種不同的分佈下，和. 如果是一個分佈在和分佈在， 然後積分沒有意義和積分沒有意義. 事實上，我們甚至不能對不同維度空間上的兩個連續分佈（或離散的，或任何潛在概率空間不匹配的情況）執行此操作。

如果您考慮到特定情況，則可能會提出一些相似的分佈之間的差異度量。例如，在離散分佈的代碼下對連續分佈進行編碼（顯然會丟失信息）可能是有意義的，例如通過四捨五入到離散情況下的最近點。

引用自：https://stats.stackexchange.com/questions/69125