从试题分析谈有效教学策略

1從試題分析談有效教學策略左太政/國立高雄師範大學數學系一、九年一貫課程數學學習領域之教學評量的要求:1、評量是檢驗教學效果的過程,教師應透過各種評量方式,來改善自己的教學。2、教學評量宜同時關照到學習成就與學習歷程,分析學生是否能達到能力指標的要求。3、根據學生個人的評量結果,教師可以理解學生既有的知識與經驗,也可以從學生發生的錯誤,回溯其學習上的問題並加以輔導修正。4、評量時,應注意評量時機的選擇,避免對評量結果作錯誤或不當解讀。5、評量時,應配合評量的目的,讓問題能恰當反應學生的學習狀態,並讓所有的評量題型,發揮該題型的特長。二、測驗理論測驗理論是一種解釋測驗資料間實證關係的有系統的理論學說，通常劃分成二大學派：一為古典測驗理論─主要使以真實分模式數為骨幹；另一為當代測驗理論—主要是以試題反應理論為架構。（一）古典測驗理論古典測驗理論（classicaltesttheory，簡稱CTT）稱為「古典真分數理論」，其內涵主要是以真實分數模式ETX為其理論架構，其中X為觀察分數，是受試者在測驗中所得到的分數；T為真實分數，是受試者接受測驗無數次之得分的平均數或期望值，並無法正確的被測量到；E為誤差分數，指的是測量的誤差，也就是受試者觀察分數和真實分數的差。由於CTT是依據弱勢假設而來，故又稱為「弱真分數理論」。古典測驗理論衍生出試題分析時的重要指標，如難易度（difficulty）、鑑2別度（discrimination）和信度（reliability）等。（二）試題反應理論古典測驗理論在作試題分析時既有上述諸多缺點，遂有「試題反應理論」（itemresponsetheory，簡稱IRT）誕生。IRT模式其主要是以個別試題的觀點，來解釋測驗分數的涵意。它認為學生在某一試題上的表現情形，與其背後的某種潛在特質（即能力）之間具有某種關係存在，該關係可以透過一條連續性遞增的數學函數來加以表示和詮釋，這個數學函數便稱作「試題特徵曲線」（itemcharacteristiccurve，簡稱ICC）。Tucker是第一位使用「試題特徵曲線」一詞的學者，其表示此曲線是將受試者的潛在能力和實際得分情形聯結在一起，受試者的測驗成績是由一些看不見的潛在特質來決定，經由測驗試題表現出這些特質，每個受試者在接受測驗後，會有不同的潛力表現出來，通常用數值來表達不同受試者潛在特質上的相對程度，亦即IRT中受試者的能力參數。ICC能清楚扼要地表示試題參數與能力間的關係變化，藉由模式求出受試者在試題上的表現與對其能力之估計量的關係。不同的ICC就代表不同的試題參數與能力間的變化關係，每一種關係就有其相對應的一條ICC，亦即每一種試題反應模式都是用來描述受試者能力與答對機率間的關係。常用的三種IRT模式，每一種模式都依其採用的試題參數的數目多寡來命名，都僅適用於二元化的反應資料（亦即，正確反應者登錄為1，錯誤反應者為0的資料）（余民寧，1992）：1.單參數洛吉數模式（one-parameterlogisticmodel）又稱RaschModel)()(1)(PisisbDbDsieeni,,3,2,1其中s：第s位受試者的能力參數)(siP：表示能力參數為s的受試者s，答對試題i或在試題i上正確反應的機率。D：表示常數為1ib：試題難易度的參數3根據公式的定義，試題難易度參數ib的位置正好座落在正確反應機率為0.5時的能力量尺（abilityscale）上的點；換言之，當第i題的難易度參數ib落在試題特徵曲線上答對機率)(iP為0.5的點時，試題的難易度參數會等於受試者能力值s。愈困難的試題，其試題特徵曲線愈是座落在能力量尺的右方；反之愈簡單的試題，其試題特徵曲線愈是座落在能力量尺的左方。試題難易度參數有時又叫做位置參數（lccationparameter）。單參數的試題特徵曲線如圖2-1-1所示，一個參數模式認為影響受試者正確反應的機率大小的試題特徵，只有試題難易度，不把試題的鑑別度和猜測度考慮在內。也就是說，一個參數的模式是假設所有試題的鑑別度是相等的，而且試題的猜測度為零。如此多的假設，使得單參數假設的適用性相對的降低。理論上，難易度ib值介於之間，但實際應用上，通常只取2之間的範圍。相對於古典測驗理論的難易度指數，其所指的是試題真正的「難」度，不是古典測驗理論所指的「易」度，而且古典測驗理論的難易度指數是一種樣本依賴（sampledependent）的指標，其值受到受試者樣本的影響很大。圖1四條典型的單參數試題特徵曲線2.洛吉數雙參模式（two-parameterlogisticmodel）)(i11)(PisibaDseni,,3,2,1（2.1.7）其中s：第s位受試者的能力參數)(siP：表示能力參數為s的受試者s，答對試題i或在試題i上正確反4應的機率。D：表示常數為1ia：試題鑑別度的參數ib：試題難易度的參數與單參數模式相比，雙參數模式多了一個參數：試題鑑別度通常以ia表示，是指試題對不同能力的受試者是否能反應出其答題的差異，也就是說鑑別度大的試題，對於能力高的受試者而言，其答對率高；對能力低的受試者而言，其答對率低。而試題鑑別度參數ia的值，剛好與在ib點的試題特徵曲線的斜率（slope）成某種比例。試題特徵曲線愈陡（steeper）的試題比稍平滑的試題，具有較大的鑑別度參數值；換句話說，鑑別度愈大的試題，其區別出不同能力水準考生的功能愈好，亦即分辨的效果愈好。理論上，ia值的範圍在之間，我們通常捨棄負的ia值不用，因為帶有負值ia的試題特徵曲線代表著：能力愈高的考生答對試題的機率愈低，這似乎與學理相違背，所以負的ia值不用。因此，在實際應用上ia也不能太大，其範圍常介於0到2之間。ia值愈大，試題特徵曲線愈陡，試題愈具有良好的分辨能力；反之，ia值愈小，代表試題特徵曲線愈平坦，試題則愈無法明顯的分辨出考生能力的水準（余民寧，1992）。圖2四條典型的雙參數試題特徵曲線由圖2可知：試題2的曲線，其斜率較小，亦即鑑別度較低，故無法有效分辨考生能力。另外，這些曲線的下限值都是零，亦即兩個參數模式未把考生的猜測度因素考慮在內，所以本模式適用於自由反應（freeresponse）的試題分析或試題不太困難的單選題測驗分析，對於有良好施測指導語的能力測驗資料亦可適5用。3.洛吉數三參模式（three-parameterlogisticmodel）)(11)(isibaDiiiieccPni,,3,2,1其中s：第s位受試者的能力參數)(siP：表示能力參數為s的受試者s，答對試題i或在試題i上正確反應的機率。D：表示常數為1ia：試題鑑別度的參數ib：試題難易度的參數ic：試題猜測度的參數洛吉數三參數模式是由洛吉數雙參數模式延伸演變而來，它多增加一個猜測度參數，通常用ic來表示，是指將能力極低或能力參數值為零的受試者考慮到模式裡，計算出此類受試者答對試題的機率，亦即把低能力受試者的表現好壞因素也考慮在模式裡，當然，猜題可能是這些受試者在某些測驗試題（如選擇題）上唯一的表現行為。從ICC來看，它是位於該曲線的左下漸近線。通常猜測度參數值比受試者在完全隨機猜測下猜答的機率稍小，亦即ic值小於試題選項數目的倒數，也就是說如果一個試題有四個選項，則ic應小於0.25。猜測度參數只出現在三參數以上的模式中，在單參數及雙參數模式中均將其假定為0或接近0而忽略不計。ic值愈小，表示猜測的因素愈小，試題愈有效，最理想的ic值是ic等於0，表示試題完全不受猜測影響，但是只要測驗的型式是選擇題型，通常很難避免受試者的猜測行為。6圖3六條典型的三個參數試題特徵曲線由圖2-1-3得知，曲線第3、5、6條與第1、2、4條曲線的比較，可以看出試題猜測度參數，前者大於零，後者等於零，也就是能力低的受試者在於前者試題上具有較高的猜測行為。以下就古典測驗理論的缺失與當代測驗理論的特點整理如下表1做相互比較：表1古典測驗理論的缺失與當代測驗理論的特點的比較古典測驗理論的缺失當代測驗理論的特點一、古典測驗理論所採用的指標，諸如：難度、鑑別度，和信度等，都是一種樣本依賴（sampledependent）的指標；也就是說，這些指標的獲得會因接受測驗的受試者樣本的不同而不同。因此，同一份試卷很難得獲得一的難度、鑑別度，或信度。一、二、當代測驗理論所採用的試題參數（itemparameters）（如：難度、鑑別度、猜測度等），是一種不受樣本影響（Sample-free）的指標；也就是說，這些參數的獲得，不會因為所選出接受測驗的受試者樣本的不同而不同。當代測驗理論能夠針對每位受試者，提供個別差異的測量誤差表2-1-1（續）古典測驗理論的缺失當代測驗理論的特點二、三、四、古典測驗理論以一個相同的測驗標準誤（standarderrorofmeasurement），作為每位受試者的測量誤差指標，這種作法並沒有考慮受試者能力的個別差異，對高、低能力兩極端組的受試者而言，這種指標極為不合理且不準確，致使理論假設的適當性受到懷疑。測驗理論對於非複本（nonparallel）但功能相同的測驗所測得的分數間，無法提供有意義的比較，有意義的比較僅侷限於相同測驗的前後測分數或複本測驗分數之間。古典測驗理論對信度的假設，是建立在複本（parallelforms）三、四、五、指數，而非單一相同測量標準誤，因此能精確推估受試者的能力估計值。當代測驗理論可經由適用的同質性試題組成得分試驗，測量估計出受試者個人的能力，不受測驗的影響（test-free），並且對於不同受試者的分數，亦可進行有意義的比較。當代測驗理論提出以試題訊息量（iteminformation）及試卷訊息量（testinformation）的概念，來作為評定某個試題或整份試卷的測量準確性，倒有取代古典測驗理論的「信度」，作為評定試卷內部一致性指標之勢。當代測驗理論同時考慮受試者7五、測驗的概念假設上，但是這種假設往往不存在於實際測驗情境裡。道理很簡單，因為不可能要求每位受試者接受同一份測驗無數次，而仍然假設每次測量間都彼此獨立不相關。況且，每一種測驗並不一定同時都有製作複本，因此複本測驗的理論假設是行不通的，從方法學邏輯觀點而言，它的假設也是不合理的、矛盾的。古典測驗理論忽視受試者的試題反應組型（itemresponsepattern），認為原始得分相同的受試者，期能力必定一樣：其實不然，即使原始得分相同的受試者，其反應組型亦不見得會完全一致。因此，其能力估計值應該會有所不同。六、的反應組型與試題參數等特性，因此在估計個人能力時，除了能夠提供一個較精確的估計值外，對於原始得分相同的受試者，也往往給予不同的能力估計值。當代測驗理論所採用的適合度考驗值（statisticofgoodness-of-fit），可以提供考驗模式與資料間之適合度、受試者的反應是否為非尋常（unusual）等參考指標。三、國中數學科測驗命題原則(一)、一般注意事項1.試題的表達方式要能切合該題的評量目標。2.試題要能清楚的表達題意。3.每個試題只問一個問題，避免同時包含太多概念。4.試題的文字敘述應簡潔、明白，避免出現跟答案無關的內容。5.標點符號的使用要準確。6.試題的文字敘述應加以變化，避免直接抄襲課文。7.試題宜與學生的生活經驗相結合。(二)、題幹與選項的設計原則81.題幹與選項的文法要一致，邏輯上要能連貫。2.題幹或選項中，應避免出現可能暗示正確答案的線索。3.題幹應儘量用正面的敘述，避免使用否定句。若用否定句時，請在否定字眼下加註雙底線。4.題幹的敘述應保持完整，避免被選項分割成兩個部份或段落。5.各選項中重複出現的文字請放在題幹內。6.每個選項應使用相似的表達方式。7.選項中只有一個最佳或正確答案。8.錯誤選項應具有誘答力。9.錯誤選項要能有充分的理由，足以說明其不正確。10.應儘量避免「以上皆是」或「以上皆非」的選項。11.選項應相互獨立，彼此之間沒有邏輯上的關聯(