Distributions

排序列表上的分佈

  • November 20, 2016

假設我們有一個有序的項目列表

[a, b, c, ... x, y, z, ...]

我正在尋找一個支持上面列表的分佈系列,這些分佈由一些參數 alpha 控制,以便:

  • 對於 alpha=0,它將概率1分配給第一項,a 上面,0 分配給其餘的。也就是說,如果我們從這個列表中採樣,並進行替換,我們總是得到a.
  • 隨著 alpha 的增加,我們為列表的其餘部分分配越來越高的概率,尊重列表的順序,遵循 ~ 指數衰減。
  • 當 alpha=1 時,我們為列表中的所有項目分配相等的概率,因此從列表中採樣類似於忽略其順序。

這與幾何分佈非常相似,但有一些顯著差異:

  • 幾何分佈分佈是在所有自然數上定義的。在我上面的例子中,列表的大小是固定的。
  • 沒有為 alpha=0 定義幾何分佈。

讓我們假設, 列表元素的排名, 有一個值對於一個列表元素(可以隨機打破關係)。然後我們可以定義選擇的概率成為:

這基本上只是一個適當歸一化的截斷幾何分佈,它也Softmax 函數有關。在特殊情況下, 使用約定. 請注意,分母總是可以寫成簡單的封閉式表達式。為了它需要價值,並且對於它需要價值.

和,很明顯,這只是為每個元素分配相等的概率。作為,這種方法將所有概率質量賦予第一個元素。

在包含 10 個元素的列表中,您要求的大致指數減少很明顯:

下面繪製了第一個元素被選中的概率如何變化,使用長度為 10 的列表。

在此處輸入圖像描述

引用自:https://stats.stackexchange.com/questions/247036

comments powered by Disqus