认知诊断之测验分析即时服务系统

1認知診斷之測驗分析即時服務系統林原宏國立臺中教育大學數學教育學系11/26/2009本講義只授權供11/26/2009於臺北市立教育大學演講使用2009年版版權所有，請勿翻印2認知診斷之測驗分析即時服務系統：協助補救教學與試題命題的平台林原宏國立臺中教育大學數學教育系第一節前言測驗資料分析是評量過程中重要的一環，而分析結果的訊息可提供教學實務上的重要訊息。在測驗學理與學校實務的應用上，「補救教學」與「試題命題回饋」可依據測驗分析結果來做判斷，然而這方面的理論模式頗多，有些數理理論高過於實務應用；另一方面，資料分析軟體的缺乏也是造成無法應用落實的因素。基於上述，本系統方案旨在發展一個認知診斷之測驗分析即時服務系統，此系統是一個提供補救教學與試題命題的平台，免費開放給學校教師使用。這是ㄧ套結合二元計分模式下，S-P表分析(studentproblemchart)和次序理論(orderingtheory)，以及多元計分模式下，多元計分S-P表分析(polytomousstudentproblemchartchart)、多元計分次序理論(polytomousorderingtheory)和多元計分概念詮釋結構模式(polytomousconceptadvancedinterpretivestructuralmodeling)所建構成的即時診斷系統，當教師們把學生試題反應輸入服務系統後，就能將學生分成數個類別並且得到個別的試題階層次序結構圖，不再只是ㄧ個分數，而是ㄧ份能夠評估學習的成效和其問題所在，因而做出適當的判斷，並且作為目前學習情況調整的資料。若再輸入測驗試題屬性資料至系統中，即可得到學生在概念學習後的精熟程度，以及個人化的概念階層結構圖，提供實施補救教學時的參考依據。此系統基於S-P表分析、次序理論以及概念詮釋結構模式，可具體提供下列功能：一、二元計分與多元計分S-P表分析提供的學生注意係數(studentcautionindex,3CS)，提供學生學習診斷參考。二、二元計分與多元計分S-P表分析提供的試題注意係數(itemcautionindex,CP)，提供試題性質參考。三、二元計分與多元計分次序理論提供試題的階層性和次序性，提供學習評量的訊息。四、根據二元計分與多元計分S-P表分析和次序理論的整合分析，能整理出各種學習類型學生的試題的階層性和次序性。五、概念詮釋結構模式分析提供受試者於各概念的精熟度數據，並繪製出受試者個人化的概念階層結構圖。第二節S-P表理論基礎一、S-P表分析理論(一)S-P表的意義S-P表(student-problemchart)又稱為學生問題表，是由佐藤隆博(TakahiroSato)於1975年提出。其根據作答反應資料所得之診斷資料可以知道學生的學習成效及試題是否恰當，這種方法適合用於小樣本數的班級人數之形成性評量(Takeya,1980；Tatsuoka,1984)之測驗資料分析。S-P表是在分析學生及試題的作答反應組型的注意係數(含學生注意係數及試題注意係數)，以及整份測驗的差異係數和同質性係數。這些指標都是用來協助教師診斷學生表現、測驗品質的有效工具，以作為改進教學、命題與輔導學生之參考(游森期、余民寧，2006)。S-P表所關心的是學生在測驗上的「作答反應組型」(itemresponsepattern)，嘗試以幾個指標化數據，做為診斷或判讀該反應組型是否為不尋常或異常的一種測驗分析方法。對於一個資料矩陣而言，假設共有N(Ni,,2,1=)位學生和M(Mj,,2,1=)的二元計分試題，令矩陣MNijyY×=)(為N位學生在M個試題上的反應資料矩陣。此外，令∑=•=Mjijiyy1為第i位學生的總分且學生已經過排序4為•••≥≥≥Nyyy21。同樣地，令∑=•=Niijjyy1為第j個試題的答對人數，且試題已經過排序為Myyy•••≥≥≥21。以下為學生注意係數(CS)和試題注意係數(CP)之計算公式，其中∑=•=MjjyMu11'且∑=•=NiiyNu11。則第i位學生的注意係數iCS和第j個試題的注意係數分別為：)'()()')(()()(111uyyuyyyCSiyjijijMjiji∑∑•=••••=−−−=和)()())(()()(111uyyuyyyCPjyijijiNiijj∑∑•=••••=−−−=(二)S-P表製作過程1.假設有N(Ni,,2,1=)位學生在M(Mj,,2,1=)個二元計分試題上的作答反應資料矩陣。2.將學生總分從高到低，由上而下排列。3.將試題答對學生人數從高到低，由左而右排列如以下範例（余民寧，2002）：試題學生12345678910總分9100010110001011591000201111100106910003010000101039100041111011010791000511111110119910006110110000159100071111111111109100081000001000291000901111111108910010011001101169100111100100100491001200100000001910013011101010059100141111001000591001510110010004總分812119671048580（原始資料表）5試題學生12345678910總分9100071111111111109100051111111011991000901111111108910004111101101079100020111110010691001001100110116910001011000101159100061101100001591001301110101005910014111100100059100111100100100491001510110010004910003010000101039100081000001000291001200100000001總分812119671048580（將學生總分排序後的表）試題學生23741965108總分9100071111111111109100051111111110991000911110111018910004111111100079100021101011100691001011100110106910001111001001059100061001100110591001311010010015910014111110000059100111000100101491001501111000004910003101001000039100080010100000291001201000000001總分121110988765480（再將試題總分進行排序）6試題學生23741965108總分9100071111111111109100051111111110991000911110111018910004111111100079100021101011100691001011100110106910001111001001059100061001100110591001311010010015910014111110000059100111000100101491001501111000004910003101001000039100080010100000291001201000000001總分121110988765480（將學生與試題總分排序後的表，粗線為S曲線，細線為P曲線）計算學生注意係數和試題注意係數如下：每人平均得分30.5158011===∑=•NiiyNu每題平均答對人數00.810801'1===∑=•MjjyMu57.0)00.8(8)67889101112(489=×−+++++++−=CS40.0)00.8(5)89101112()58()89(1=×−+++++−+=CS09.0)30.5(12)4455556678910(342=×−+++++++++++−=CP54.0)30.5(10)55556678910()234()556(7=×−+++++++++++−++=CP7(三)學習類型及試題類型根據學生的注意係數和得分百分比，可將所有學生的學習狀況分為六大類型；根據試題的注意係數和答對試題學生人數百分比，可將所有試題的性質分為四大類型。其意義如表2-1和表2-2所示(Sato,1980;Sato&Kurata,1997)。表2-1學生診斷分析表A學習良好穩定性高A’粗心大意，不細心造成錯誤B學習尚稱穩定，需要再用功一點B’偶爾粗心，準備不充分，需要再努力100%75%50%C學力不足，學習不夠充分，需要更加努力用功C’學習極不穩定，具有隨性的讀書習慣，對考試內容沒有充分準備學生得分百分比00.501.00學生注意係數表2-2試題性質診斷分析表(四))認知診斷之測驗分析即時服務系統輸出結果舉例A試題相當適當，可以用作區別低成就者與其他學生的不同A’試題含有異質成分，需要局部修正，或試題中含有拙劣的選項100%50%B試題困難度高，適合用作區別高成就者的好試題B’試題極為拙劣，含有相當異質成分在內，可能資料登錄錯誤或題意含糊不清，必須加以修改答對試題的學生人數百分比00.501.00試題注意係數89S-P表之P曲線和S曲線一般常見之S-P表圖形如下(余民寧，2002)：一二三10z標準化測驗的S-P曲線，如一所示ㄧ般而言，標準化測驗的結果，通常會呈現常態分配。我們從S-P表的P曲線可看出，其試題的答對率約在20%至80%之間；從S曲線呈現S形狀可看出中央部份的答對率約佔50%的學生人數最多，靠近滿分和零分的學生人數則相當少。z同質性ㄧ致的常模參照測驗的S-P曲線，如二所示這種曲線的平均答對率約為50%左右，但P曲線呈現傾斜之直線分布，表示試題答對人數(由高到低)的分布相當均勻；而S曲線亦呈現傾斜之直線分布，亦表示學生得分(由高到低)均勻分布。這類模式的成就測驗，表示試題和學生均具有同質性，可方便我們用來區別學生間的學習成就差異。z能力陡降分布測驗的S-P曲線，如三所示其平均答對率約在70至75%。從P曲線可以看出少數試題答對率有偏低的傾向；從S曲線可以看出大部份學生的答對率集中在平均數附近，少部分學生的答對率偏低。z編序教學後測驗的S-P曲線，如四所示從S曲線及P曲線的位置,，可以看出其平均答對率約在80%左右，除了極少數成績偏低以外，其餘均有相當良好的成績。z試題呈現二極化分佈測驗的S-P曲線，如五所示從S曲線及P曲線的位置,，可以看出其平均答對率約在60%左右，但是P曲線的形狀特異，答對率高與答對率低的試題篇像兩極端，這種現象顯示命題不太理想。z教學前測驗的S-P曲線，如六所示四五六11從S曲線及P曲線的位置，可以看出平均答對率僅在25%左右，從P曲線可以看出除了少數幾個試題外，每一個試題的答對人數均偏低；S曲線則顯示除了少數幾位學生外，其餘學生的答題率都偏低。二、多元計分S-P表分析理論(一)多元計分S-P表的意義佐藤隆博(1975)所提出的S-P表適用於二元計分測驗資料，但在許多實際測驗情境中，試題往往不僅只有對或錯的答案，例如：文字題、應用題等，評分者依據答對的正確性程度，而部份給分(partialcredit)的試題，也就是常見的多元計分(polytomous)試題，則無法透過S-P表進行測驗診斷分析，因此將S-P表分析理論推廣為適用於多元計分模式，即為多元計分S-P表(polytomousstudent-problemchartanalysistheory,PS-Pchart)。(二)多元計分S-P表的製作過程1.假設有N(Nn,,2,1=)位學生在M(Mm,,2,1=)題多元計分試題上的作答反應資料矩陣。2.將作答反應資料矩陣進行正規化運算，使所有試題總分皆介於0至1之間。3.將正規化後學生合計得分從高到低，由上而下排列。4.將正規化後試題合計得分從高到低，由左而右排列