网路英文学习与检定系统_结合适性化测验,多媒体试题, 及网路化测验机...

網路英文學習與檢定系統:結合適性化測驗,多媒體試題,及網路化測驗機制陳炳富技術總監全民網路英語能力檢定多媒體教學暨檢測中心中華民國多媒體英語文教學學會數位學習成功實務案例分享適性化測驗(IRT)傳統做法：以圖文型式來呈現試題利用紙筆測驗的方式來施測網路測驗的做法：可以用多媒體型式來呈現試題利用電腦及網路系統來施測試題之適性值(難易度、鑑別度、猜測度)是否一致？適性值的差異研究假設：圖文型式試題和多媒體型式試題所要表達的觀念及原理都一樣，只是題目的呈現或表達方式不一樣。不同試題的呈現方式之適性值(難易度、鑑別度、猜測度)是否一樣呢？實驗流程選取單元教材主題編製試題設計單編製試題評估單開發圖文式試題開發多媒體試題施測(1000人)分析測驗的結果放入適性測驗題庫複合式評量架構靜態圖文試題組互動多媒體試題組施測對象與環境(1)限於研究的人力物力與時間等因素，本研究的取樣對象僅為台北及新竹兩地學子，共計1000名。以班級為單位分為兩大組，分組方式為隨機指派，若某國小該年段班級數為奇數，則有一班不參與研究。多媒體試題施測環境ServerWindows2000ServerSP4Pentium41.8GCPU、512MBRAM30GBHDDClientWindows98SE2AMDK6-300CPU、64MBRAM6GBHDD施測對象與環境(2)其中O1、O2、O3、O4、O5、O6表示學生起點能力，係以學生數學科月考成績為準，O7、O8、O9、O10、O11、O12表示本研究測驗成績。研究處理互動多媒體測驗靜態圖文測驗高分組(500*27%)O1O7O4O10中分組(500*46%)O2O8O5O11低分組(500*27%)O3O9O6O12試題特徵曲線說明試題特徵曲線00.10.20.30.40.50.60.70.80.91能力值答對機率數列1數列2數列3數列4-2.19-1.75-1.31-0.87-0.440.000.440.881.321.75實驗結果試題的適性值例子題號2選項1234*難度鑑別度猜測度多媒體10624460-4.0660.3520.00靜態181434434-1.9920.5660.00題號3選項1234*難度鑑別度猜測度多媒體509533322-0.5300.8340.00靜態749555276-0.1230.9400.00...實驗結果(1)試題特徵曲線—ICC第三題00.10.20.30.40.50.60.70.80.91能力值答對機率互動多媒體試題靜態圖文試題-2.19-1.75-1.31-0.87-0.440.000.440.881.321.75實驗結果試題的適性值例子題號18選項1*234難度鑑別度猜測度多媒體互動22716217400.0420.7990.00靜態21532187660.4080.7880.00題號22選項1*234難度鑑別度猜測度多媒體互動2924011454-0.3810.8030.00靜態24850121810.0010.8120.00實驗結果(1)試題特徵曲線—ICC第十八題00.10.20.30.40.50.60.70.80.91能力值答對機率互動多媒體試題靜態圖文試題-2.19-1.75-1.31-0.87-0.440.000.440.881.321.75實驗結果(2)全體學生的成績T考驗A組：互動多媒體試題組，B組：靜態圖文試題組t=4.827，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。其中A組的平均成績為15.89，B組的平均成績為14.12，表示A組的成績表現優於B組的成績表現。換句話說，學生在互動多媒體試題的表現較佳。實驗結果(3)高分組學生的成績T考驗A組：互動多媒體試題組，B組：靜態圖文試題組t=2.952，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。其中A組的平均成績為23.04，B組的平均成績為22.31，兩組的平均分數差距為0.73。實驗結果(4)低分組學生的成績T考驗A組：互動多媒體試題組，B組：靜態圖文試題組t=12.423，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。其中A組的平均成績為10.16，B組的平均成績為6.10，兩組的平均分數差異高達4.06。實驗結果總結(5)就整體平均成績而言，互動多媒體試題的成績優於靜態圖文試題。針對高分組的學生而言，互動多媒體試題的成績仍優於靜態圖文試題，但兩組的差距較小。針對低分組的學生而言，互動多媒體試題的成績優於靜態圖文試題，但兩組的差距較大。研究結果顯示，互動多媒體試題有效提升低分組學生的成績表現。實驗結果推理圖文型式的測驗方式可能會把一些觀念已懂的學生視為不懂(實際上這些學生只是對圖文式的語意較不易了解)只有圖文式測驗方式的公平性可能會受到考驗=使用多媒體試題可以使測驗更公平合理網路英檢VS.紙筆英檢(1)網路英檢使用適性測驗題目呈現方式使用多媒體試題呈現在電腦及網路系統施測並使用電腦閱卷(說及寫的測驗以人工閱卷)紙筆英檢(目前)使用文字(或圖形)方式來呈現試題以紙筆測驗來施測(以人工閱卷為主)網路英檢系統1.初試---聽讀2.複試---說寫ConclusionsITEMS網路英檢紙筆英檢成績結果回饋比較無人為失誤。即時受測，立即回饋；初試由電腦直接計分，複試由電腦輔助計分。比較會出現人為失誤。耗時。檢測作業方式測驗時間較短。全面電腦與網路作業，符合時代潮流、節省時間並具備環保概念。測驗時間較長。紙筆作業，不符合時代潮流。自我測驗學習網路免費24小時上網學習及自我檢定。沒有提供。檢測地點廣設並分散檢測中心。比較不受時空限制，且交通不堵塞。集中檢測地點。報考者無法選擇就近地點場次。類似聯考。容易造成交通阻塞。檢測次數與運作方式一年多次,分散，採電腦隨機出題，電腦計算後再出下一題，題目與題目選項位置都不同，可有效防止作弊，確保考試的公平性。ㄧ年少次,集中,類似聯考。紙筆測驗,固定相同一份試卷題。