Extreme-Value

塔勒布與黑天鵝

  • September 9, 2012

塔勒布的書《黑天鵝》幾年前出版時是《紐約時報》的暢銷書。這本書現在已經是第二版了。在 JSM(年度統計會議)上與統計學家會面後,塔勒布稍微緩和了他對統計的批評。但這本書的主旨是統計數據並不是很有用,因為它依賴於正態分佈和非常罕見的事件:“黑天鵝”沒有正態分佈。

你認為這是有效的批評嗎?Taleb 是否遺漏了統計建模的一些重要方面?至少在可以估計發生概率的意義上,是否可以預測罕見事件?

幾年前我讀過《黑天鵝》。黑天鵝的想法很好,對滑稽謬誤的攻擊(將事物視為骰子遊戲,具有可知的概率)很好,但統計數據被嚴重歪曲,核心問題是錯誤地聲稱所有統計數據都會崩潰,如果變量不是正態分佈的。我對這方面感到非常惱火,於是給塔勒布寫了下面的信:

親愛的塔勒布博士

最近看了《黑天鵝》。和你一樣,我是 Karl Popper 的粉絲,我發現自己同意其中的很多內容。我認為你對 ludic 謬誤的闡述基本上是合理的,並引起了人們對一個真實而普遍的問題的關注。然而,我認為第三部分的大部分內容都嚴重削弱了你的整體論點,甚至可能會抹黑本書的其餘部分。這是一種恥辱,因為我認為關於黑天鵝和“未知的未知數”的論點是基於它們的優點,而不依賴於第三部分中的一些錯誤。

我想指出的主要問題 - 並尋求您的回應,特別是如果我誤解了問題 - 是您對應用統計領域的錯誤陳述。在我看來,第 14、15 和 16 章很大程度上依賴於稻草人的論點,歪曲了統計數據和計量經濟學。你描述的計量經濟學領域不是我在學習應用統計學、計量經濟學和精算風險理論時所學的領域(在澳大利亞國立大學,但使用的課本似乎很標準)。您提出的問題(例如高斯分佈的局限性)得到了很好的理解和教學,即使在本科階段也是如此。

例如,您竭盡全力展示收入分配如何不遵循正態分佈,並將其作為反對一般統計實踐的論據。沒有一個稱職的統計學家會聲稱它確實如此,並且處理這個問題的方法已經很成熟了。僅使用最基本的“第一年計量經濟學”級別的技術,例如,通過取其對數來轉換變量將使您的數值示例看起來不那麼令人信服。這樣的轉換實際上會使您所說的大部分內容無效,因為原始變量的方差確實會隨著其均值的增加而增加。

我敢肯定,有些不稱職的計量經濟學家會按照您所說的方式使用未轉換的響應變量進行 OLS 回歸等,但這只會使他們不稱職,並且使用了公認的不合適的技術。即使在本科課程中,他們肯定也會失敗,因為本科課程花費大量時間尋找更合適的方法來模擬收入等變量,以反映實際觀察到的(非高斯)分佈。

廣義線性模型系列是為解決您提出的問題而開發的一組技術。許多指數分佈族(例如 Gamma、Exponential 和 Poisson 分佈)是不對稱的,並且隨著分佈中心的增加,方差也會增加,從而解決您使用高斯分佈指出的問題。如果這仍然過於局限,則可以完全放棄預先存在的“形狀”,並簡單地指定分佈的均值與其方差之間的關係(例如,允許方差與均值的平方成比例地增加),使用“準似然”估計方法。

當然,您可能會爭辯說,這種建模形式仍然過於簡單化,是一個讓我們誤以為未來會像過去一樣的智力陷阱。你可能是對的,我認為你的書的力量是讓像我這樣的人考慮這一點。但是你需要與你在第 14-16 章中使用的不同的論點。例如,無論其均值如何(這會導致可伸縮性問題),您對高斯分佈的方差是恆定的這一事實的重視是無效的。您對現實生活中的分佈往往是不對稱的而不是鍾形曲線這一事實的強調也是如此。

基本上,您對最基本的統計方法進行了過度簡化(將原始變量建模為具有高斯分佈),並詳細(正確地)展示了這種過度簡化方法的缺點。然後你用它來製造差距來抹黑整個領域。這要么是邏輯上的嚴重失誤,要么是一種宣傳手法。這是不幸的,因為它有損於你的整體論點,其中大部分(正如我所說的)我認為是有效和有說服力的。

我很想听聽你的回應。我懷疑我是第一個提出這個問題的人。

此致

引用自:https://stats.stackexchange.com/questions/35956

comments powered by Disqus