什麼是違反正態性程度的良好指標以及可以在該指標上附加哪些描述性標籤？

語境：

在上一個問題中，@Robbie 在一項包含大約 600 個案例的研究中詢問為什麼正態性檢驗表明存在顯著的非正態性，而圖表卻顯示出正態分佈。有幾個人指出，正態性的顯著性檢驗不是很有用。對於小樣本，此類測試沒有太大的能力來檢測輕微的正態性違規，而對於大樣本，它們將檢測到足夠小而無需關注的正態性違規。

在我看來，這個問題類似於圍繞顯著性檢驗和效應大小的爭論。如果只關注顯著性檢驗，當你有大樣本時，你可以檢測到與實際目的無關的小效應，而小樣本則沒有足夠的功效。

在某些情況下，我什至看到教科書建議人們您可以擁有“太大”的樣本，因為小的影響將具有統計意義。

在顯著性檢驗和效應大小的上下文中，一個簡單的解決方案是專注於估計感興趣的效應的大小，而不是癡迷於是否存在效應的二元決策規則。效果大小的置信區間就是這樣一種方法，或者您可以採用某種形式的貝葉斯方法。此外，各種研究領域都建立了關於給定效應大小在實際意義上意味著什麼的想法，無論好壞，都應用了諸如“小”、“中”和“大效應”之類的啟發式標籤。這也導致了最大化樣本大小的智能建議，以最大限度地提高估計給定感興趣參數的準確性。

這讓我想知道為什麼基於效應大小的置信區間的類似方法在假設檢驗，特別是正態性檢驗方面沒有得到更廣泛的支持。

問題：

• 數據違反正態性程度的最佳單一指標是什麼？
• 還是只討論違反正態性的多個指標（例如，偏度、峰度、異常值流行度）更好？
• 如何計算指數的置信區間（或者可能是貝葉斯方法）？
• 您可以為該指數上的點分配什麼樣的語言標籤來指示違反正常的程度（例如，輕度、中度、強烈、極端等）？此類標籤的目的可能是幫助經驗較少的分析師訓練他們的直覺，以了解何時違反常態是有問題的。

A) 數據違反正態性程度的最佳單一指標是什麼？

B) 還是只討論違反正態性的多個指標（例如，偏度、峰度、異常值流行率）更好？

我會投票給 B。不同的違規行為會產生不同的後果。例如，帶有重尾的單峰對稱分佈會使您的 CI 非常寬，並且可能會降低檢測任何影響的能力。然而，平均值仍然達到“典型”值。例如，對於非常偏斜的分佈，平均值可能不是“典型值”的非常合理的指標。

C) 如何計算指數的置信區間（或者可能是貝葉斯方法）？

我不知道貝葉斯統計，但關於正態性的經典檢驗，我想引用 Erceg-Hurn 等人。(2008) [2]：

另一個問題是假設檢驗有自己的假設。正態性檢驗通常假設數據是同方差的；同方差性檢驗假設數據是正態分佈的。如果違反正態性和同方差性假設，則可能會嚴重影響假設檢驗的有效性。著名的統計學家將內置於 SPSS 等軟件中的假設檢驗（例如 Levene 檢驗、Kolmogorov-Smirnov 檢驗）描述為存在致命缺陷，並建議永遠不要使用這些檢驗（D’Agostino，1986；Glass & Hopkins，1996）。

D) 你可以給該指數上的點分配什麼樣的語言標籤來表示違反正常的程度（例如，輕度、中度、強烈、極端等）？

Micceri (1989) [1] 對 440 個大型心理學數據集進行了分析。他評估了對稱性和尾重，並定義了標準和標籤。不對稱的標籤範圍從“相對對稱”到“中等 –> 極端 –> 指數不對稱”。尾部重量的標籤範圍從“均勻–> 小於高斯–> 關於高斯–> 中等–> 極端–> 雙指數污染”。每個分類都基於多個穩健的標準。

他發現，在這 440 個數據集中，只有 28% 是相對對稱的，只有 15% 是關於尾部權重的高斯分佈。因此，這篇論文的標題很好：

獨角獸、正常曲線和其他不可能的生物

我寫了一個R函數，它會自動評估 Micceri 的標準並打印出標籤：

# This function prints out the Micceri-criteria for tail weight and symmetry of a distribution
micceri <- function(x, plot=FALSE) {
   library(fBasics)
   QS <- (quantile(x, prob=c(.975, .95, .90)) - median(x)) / (quantile(x, prob=c(.75)) - median(x))

   n <- length(x)
   x.s <- sort(x)
   U05 <- mean(x.s[(.95*n ):n])
   L05 <- mean(x.s[1:(.05*n)])
   U20 <- mean(x.s[(.80*n):n])
   L20 <- mean(x.s[1:(.20*n)])
   U50 <- mean(x.s[(.50*n):n])
   L50 <- mean(x.s[1:(.50*n)])
   M25 <- mean(x.s[(.375*n):(.625*n)])
   Q <- (U05 - L05)/(U50 - L50)
   Q1 <- (U20 - L20)/(U50 - L50)
   Q2 <- (U05 - M25)/(M25 - L05)

   # mean/median interval
   QR <- quantile(x, prob=c(.25, .75)) # Interquartile range
   MM <- abs(mean(x) - median(x)) / (1.4807*(abs(QR[2] - QR[1])/2))

   SKEW <- skewness(x)
   if (plot==TRUE) plot(density(x))

   tail_weight <- round(c(QS, Q=Q, Q1=Q1), 2)
   symmetry <- round(c(Skewness=SKEW, MM=MM, Q2=Q2), 2)

   cat.tail <- matrix(c(1.9, 2.75, 3.05, 3.9, 4.3,
                        1.8, 2.3, 2.5, 2.8, 3.3,
                       1.6, 1.85, 1.93, 2, 2.3,
                       1.9, 2.5, 2.65, 2.73, 3.3,
                       1.6, 1.7, 1.8, 1.85, 1.93), ncol=5, nrow=5)

   cat.sym <- matrix(c(0.31, 0.71, 2,
                       0.05, 0.18, 0.37,
                       1.25, 1.75, 4.70), ncol=3, nrow=3)


   ts <- c()
   for (i in 1:5) {ts <- c(ts, sum(abs(tail_weight[i]) > cat.tail[,i]) + 1)}

   ss <- c()
   for (i in 1:3) {ss <- c(ss, sum(abs(symmetry[i]) > cat.sym[,i]) + 1)}

   tlabels <- c("Uniform", "Less than Gaussian", "About Gaussian", "Moderate contamination", "Extreme contamination", "Double exponential contamination")

   slabels <- c("Relatively symmetric", "Moderate asymmetry", "Extreme asymmetry", "Exponential asymmetry")

   cat("Tail weight indexes:\n")
   print(tail_weight)
   cat(paste("\nMicceri category:", tlabels[max(ts)],"\n"))
   cat("\n\nAsymmetry indexes:\n")
   print(symmetry)
   cat(paste("\nMicceri category:", slabels[max(ss)]))

   tail.cat <- factor(max(ts), levels=1:length(tlabels), labels=tlabels, ordered=TRUE)
   sym.cat  <- factor(max(ss), levels=1:length(slabels), labels=slabels, ordered=TRUE)

   invisible(list(tail_weight=tail_weight, symmetry=symmetry, tail.cat=tail.cat, sym.cat=sym.cat))
}

這是標準正態分佈的檢驗，使用 8 df 和對數正態：

> micceri(rnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
2.86  2.42  1.88  2.59  1.76 

Micceri category: About Gaussian 


Asymmetry indexes:
Skewness   MM.75%       Q2 
   0.01     0.00     1.00 

Micceri category: Relatively symmetric



> micceri(rt(10000, 8))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
3.19  2.57  1.94  2.81  1.79 

Micceri category: Extreme contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
  -0.03     0.00     0.98 

Micceri category: Relatively symmetric



> micceri(rlnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
6.24  4.30  2.67  3.72  1.93 

Micceri category: Double exponential contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
   5.28     0.59     8.37 

Micceri category: Exponential asymmetry

---

[1] Micceri, T. (1989)。獨角獸、正常曲線和其他不可能的生物。心理公報，105，156-166。doi:10.1037/0033-2909.105.1.156

[2] Erceg-Hurn，DM 和 Mirosevich，VM（2008 年）。現代穩健的統計方法：一種最大限度地提高研究準確性和力量的簡單方法。美國心理學家，63，591-601。

引用自：https://stats.stackexchange.com/questions/16646