Machine-Learning

雙機器學習是否具有雙重魯棒性?如果是這樣,怎麼做?

  • August 11, 2020

雙重/去偏機器學習是否對內生性具有雙重魯棒性?

我聽說過使用雙重/去偏機器學習進行因果推理(Chernozhukov,et al 2016),甚至在EconML中實現了它。有人告訴我,雙重/去偏機器學習對內生性具有雙重魯棒性。

我對雙重穩健的理解是,如果一個估計量同時建模(1.)協變量和結果之間的關係並使用這些關係來預測缺失值,並且(2.)給定缺失的概率建模協變量並將它們合併到加權或分層估計中(Kang 和 Schafer,2007 年)。如果正確指定了這兩個模型中的任何一個,則模型將輸出正確的參數估計值。

雙重/去偏機器學習是否具有這種非常吸引人的特性?如果是這樣,任何人都可以解釋原因,或者讓我參考一些可能澄清原因的材料嗎?

謝謝!

是的,但這只是因為雙重機器學習在底層使用了雙重魯棒的估計器。交叉擬合過程本身不會導致雙重魯棒性。

雙穩健估計器

如前所述,雙重穩健的估計量允許您有兩次機會正確指定滋擾模型(滋擾模型是治療和結果模型)。但是,沒有理由認為您可以使用只有兩次機會的參數模型來做到這一點。這就是機器學習的用武之地。

機器學習用於通過使用半參數或非參數估計器來削弱關於模型規範的假設。然而,這些更靈活的干擾函數的收斂速度比 $ n^{-1/2} $ . 因此,逆概率權重或 do-calculus 等方法將具有反保守方差(也可能存在偏差)。雙魯棒估計器變得必要,因為它們允許較慢的收斂速度。

交叉擬合

儘管如此,雙重魯棒估計器需要對滋擾函數估計器進行限制。具體來說,它們是 Donsker 類(即估計量不能過於復雜)。雙重機器學習針對這個問題。交叉擬合過程允許對滋擾函數使用非 Donsker 類估計器。

結論

Chernozhukov 等人描述的雙重/去偏機器學習。2016 年依賴於雙重穩健的估計量(例如,在平均治療效果的背景下,它使用增強的逆概率權重)。因此,該方法將是雙重穩健的。然而,雙重機器學習過程旨在解決雙重魯棒估計器的特定問題,並使用機器學習來處理討厭的函數。與機器學習(雙重機器學習)的交叉擬合應與雙重魯棒估計器一起使用。

從我關於 arXiv(Zivich 和 Breskin 2020)的論文的討論部分中提取:

當使用數據自適應機器學習進行滋擾函數估計時,對具有交叉擬合的雙重魯棒估計器的需求源於估計器的 Von Mises 擴展中的兩個項。第一項由擴展中的經驗過程項描述,可以通過限制討厭模型的複雜性(例如,通過要求它們屬於 Donsker 類)或通過交叉擬合來控制。因為很難或不可能驗證給定的機器學習方法是否屬於 Donsker 類,所以交叉擬合提供了一種簡單而有吸引力的替代方案。第二項是二階餘數,隨著樣本量的增加它收斂到零。對於有效的推論,希望這個餘項收斂為 $ n^{−1/2} $ ,稱為 root-n 收斂。收斂率不是計算問題,而是估計器本身的一個特徵。不幸的是,數據自適應算法由於其靈活性而通常具有較慢的收斂速度。然而,由於雙穩健估計量的二階餘項是處理和結果乾擾模型的近似誤差的乘積,所以雙穩健估計量只要求干擾模型的收斂速度的乘積為 $ n^{−1/2} $ . 總而言之,交叉擬合允許使用高度複雜的滋擾模型,而雙重穩健估計器允許使用緩慢收斂的滋擾模型。一起使用,這些方法允許人們使用廣泛的數據自適應機器學習方法來估計因果效應。

引用自:https://stats.stackexchange.com/questions/482445

comments powered by Disqus