Survey
從問卷中識別無用的問題
我正在開發一個問卷。為了提高其可靠性和有效性,我想使用統計方法。
我想消除答案總是相同的問題。這意味著幾乎所有參與者都對這些問題給出了相同的答案。
現在我的問題是:
- 這些無用問題的技術術語是什麼,它們的答案總是相同的,獨立於使用的上下文?
- 有什麼方法可以識別這些問題?
經典測試理論 (CTT) 和項目反應理論 (IRT) 都可以提供指導,說明哪些項目有助於您希望測量的潛在特徵,哪些沒有。對於 CTT,考慮 1) 項目難度,2) 項目與總分的相關性,3) 項目方差,以及 4) 如果項目被刪除,對內部一致性估計(例如,Cronbach’s alpha)的影響。
太容易或太難的項目往往無助於區分主題(區分高分者和低分者)。除非您對衡量表現最佳者之間的差異感興趣,否則應該考慮刪除非常困難的問題。同樣,非常簡單的項目僅適用於您對低績效者的表現感興趣的情況。
所有項目都應與總分呈正相關,您可以為該相關性設置 0.20 左右的下限作為指導。低相關性或負相關性可能表明您的問卷存在措辭問題,應該對問題進行反向評分。
應考慮刪除具有低方差(分數可變性)的項目,因為它們不分離主題,也不有助於從調查中收集的信息。具有非常高方差的項目可能正在測量您希望測量的構造/特徵之外的其他內容。
如果刪除該項目後內部一致性的估計值有所改善,則應考慮刪除該項目或重新措辭。
每個人都做對的項目有時是最大項目,每個人都做錯的項目有時被稱為最小項目。它們不會為您嘗試收集的信息做出貢獻。
如果您正在開發高風險問卷或計劃營銷問卷,您絕對應該考慮 IRT。然而,這是一個很大的主題領域,除非你真的很感興趣,否則可能不值得在這裡進入它的空間。
希望這可以幫助。