Estimation
在估計模型參數時最大化條件（對數）似然或聯合（對數）似然有什麼區別？
考慮一個響應y和數據矩陣X。假設我正在創建表單模型 -
y ~ g(X,)
(g() 可以是 X 的任何函數並且)
現在，為了估計使用最大似然 (ML) 方法，我可以使用條件 ML（假設我知道條件密度**f(y|X)的形式）或聯合 ML（假設我知道聯合密度f(y,X ) 的形式)**或等效地，f(X|y) * f(y) )
我想知道除了關於密度的假設之外，在繼續使用上述兩種方法中是否有任何考慮。此外，是否有任何實例（特定類型的數據）在大多數情況下一種方法勝過其他方法？
這取決於您以後想對模型做什麼。
聯合模型試圖預測整個分佈和. 它有一些有用的特性：
- 異常值檢測。可以識別與您的訓練樣本非常不同的樣本，因為它們的邊際概率很低。條件模型不一定能告訴你這一點。
- 有時更容易優化。例如，如果您的模型是高斯混合模型，那麼有很多方法可以將其擬合到您可以插入的聯合密度（期望最大化，變分貝葉斯），但是如果您想有條件地訓練它，事情會變得更加複雜。
- 根據模型的不同，訓練可以通過利用條件獨立性來並行化，如果有新數據可用，您還可以避免以後重新訓練它。EG 如果每個邊際分佈被單獨參數化，並且您觀察到一個新樣本，那麼您需要重新訓練的唯一邊際分佈是. 其他邊際分佈不受影響。此屬性在條件模型中不太常見。
- 我記得讀過一篇論文，其中指出聯合模型在有大量數據的情況下還有一些其他不錯的屬性，但不記得確切的聲明，或者在我的有趣論文的大文件夾中找到它。如果我以後找到它，我會提供參考。
然而，條件模型也有一些有趣的特性
- 他們可以很好地工作。
- 有些人在尋找合理的優化策略方面做了很多工作（例如支持向量機）
- 條件分佈的建模通常比聯合建模“更簡單”——要對後者建模，您必須對前者建模以及對邊際分佈建模。如果您只對準確預測什麼值感興趣是給定的，將模型的能力集中在單獨表示這一點上可能更明智。