什麼是貝葉斯深度學習？

什麼是貝葉斯深度學習，它與傳統貝葉斯統計和傳統深度學習有何關係？

涉及的主要概念和數學是什麼？我可以說這只是非參數貝葉斯統計嗎？它的開創性工作以及目前的主要發展和應用是什麼？

PS：貝葉斯深度學習越來越受到關注，請參閱 NIPS 研討會。

離開您的 NIPS 研討會鏈接，Yee Whye Teh 在 NIPS 上發表了關於貝葉斯深度學習的主題演講（視頻：https ://www.youtube.com/watch?v=LVBvJsTr3rg ，幻燈片：http://csml.stats。 ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/）。我認為在演講的某個時刻，Teh 將貝葉斯深度學習總結為將貝葉斯框架應用於深度學習的思想（比如學習神經網絡權重的後驗），而深度貝葉斯學習是將深度學習的思想應用於貝葉斯框架（如深度高斯過程或深度指數族）。當然，有些想法跨越了這兩個概念之間的界限，例如變分自動編碼器。當大多數人說貝葉斯深度學習時，他們通常指的是兩者中的任何一個，這反映在您鏈接的研討會（以及前一年的研討會）上被接受的論文中。雖然這些想法可以追溯到 90 年代 Neal 關於神經網絡貝葉斯學習的工作（http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf），從那時起多年來一直在努力，最近最重要的論文之一可能是原始變分自動編碼器論文（https://arxiv.org/pdf/1312.6114.pdf）。

引用自：https://stats.stackexchange.com/questions/318786