Thursday, September 22, 2005

 

試題反應理論(IRT)的樣本獨立與試題獨立

我一直搞不懂試題反應理論(IRT)的樣本獨立與試題獨立之觀念(有異於傳統測驗理論的樣本依賴床與試題依賴), 中正大學王文中教授說:"樣本獨立的意思是說:「如果資料吻合模式(含其他IRT模式)的話,那麼題目的特性(如難度、鑑別力參數等)的估計,不會受到樣本特性(如性別、能力高低)的干擾。」同理,測驗獨立的意思是說「如果資料吻合模式(含其他IRT模式)的話,那麼考生能力或特質的估計,不會受到測驗特性(如很難或很簡單)的干擾。」
從以上得說明,可以發現有項前提必須成立:「如果資料吻合模式」。但我們如何得知此項前提是否成立呢?我們的作法是反其道而行(就像統計學中的假設檢定),以邏輯中的「若p則q」而言,那麼「若非q則非p」。亦即:「如果題目特性的估計,會受到樣本特性的干擾,那麼資料就不吻合模式。」這就是DIF的檢測。如果DIF發生,就表示資料不吻合模式。此外「若q,雖未必p,不過傾向於p」。即DIF沒有發生,我們傾向於認為資料吻合模式。
同理,「如果考生能力的估計,會受到測驗特性(如很難或很簡單)的干擾,那麼資料就不吻合模式」。在實用上,這個檢測比較少進行。不過很容易用winsteps(或其他軟體進行之),例如故意將測驗拆成兩份(如簡單的一份,很難的一份),然後利用這兩份測驗去估計考生能力,如果發現所估計出來的兩份能力估計值差異很大的話,就表示資料就不吻合模式,因此沒有測驗獨立。不過要記住此時要限制考生能力的估計值為0,而不是測驗難度的平均為0,以取得共同的量尺,進行比較。
在這樣的邏輯下,如果有發現DIF,或兩次測驗的能力估計值很相近,那麼我們就暫時接受「資料與模式吻合」的假設。請注意這是暫時接受,並不是確認。畢竟我們無法窮盡所有的DIF分析,所有的測驗組合。亦即我們暫時接受「虛無假設」,而不是證實了虛無假設。
除了這兩種檢測方法外,還有很多方法,如infit & outfit, 如殘差主成分分析。這些檢測的邏輯都是一樣的:「如果不好結果的發生,就表示資料不吻合模式。反之,如果沒有不好的結果發生,就暫時說資料吻合模式。」

Comments: Post a Comment

<< Home

This page is powered by Blogger. Isn't yours?