我的教学测量与评价

第一讲教学测量与评价的含义与作用一、什么是教学测量二、什么是教学评价三、教学测量与评价与关系四、教学测量与评价的作用一、教学测量1.含义教学测量（instructionalmeasurement）是考核教学成效的一种方法。这是借助于一定的手段与方式，对学生的学习成绩（简称学绩）进行探察，并以一定的数量来表示的考核办法。2.在教学测量中应注意什么？2.在教学测量中应注意什么（1）教学测量的目的在于考核教学成效，也就是考察教学目标的完成情况。因此，教学测量的目标应以教学目标为依据，测量目标应与教学目标一致，而不能偏离教学目标教学目标，有时也称为行为目标，是指对学生在一段时间教学后应该掌握的技能与概念的陈述。教学目标的例子：学生能够有3分钟做对100道除法题。学生至少能够说出5个唐代的皇帝。学生能够写一篇文章，对凡高和高更的艺术风格进行比较。识记，理解，运用情感目标，知识目标、（2）教学测量的对象是学生内在的能力与品德等的形成状况，它不可能像物理测量那样直接进行，只能借助于一定的手段与方式间接进行。（3）教学成效是通过量化的学绩进行考察的。也就是说，教学成效是以学生的学习成绩为直接考察依据的，而学绩是以一定的数量来表示的，因此命题的合理性与评分的客观性是有效教学测量的一个重要影响因素二、教学评价1.含义教学评价（instructionalevaluation）就是依据教学目标，对学绩测验所得测量结果进行分析及解释。它主要包含以下两个方面的工作。（1）教学评价必须对学绩测验数据所表明的教学成效作出确切的诊断。（2）教学评价必须对教学的成败原因进行分析，并对今后教学工作的改进方面作出明确的规定。评价（估）的功能为家长提供信息为选拔提供信息为学生提供信息为教师提供信息为学校（间）提供信息评价必须要注意的：公平，公正，标准一致，标准清晰如何评价（估）形成性评估和终极性评估常模参照评估与标准参照评估三、教学测量与评价的关系区别：教学测量是对学绩测验所得结果的客观描述（将结果予以数量化），并不考虑结果的实际意义，而教学评价则是对学绩测验所得结果的主观判断（对结果进行分析解释），以了解结果的实际意义。联系：（1）教学评价是一种主观判断，但是这种主观判断必须以教学测量所得的客观描述为依据（2）教学测量也不能脱离教学评价。教学测量只是对学绩测验结果的客观描述，只有通过教学评价，才能判断这种客观描述的实际意义四、教学测量与评价的功能1.反馈—调节功能对教师对学生2.激励—动机功能对学生对教师第二讲有效教学测验的基本要求一、测验的信度二、测验的效度三、项目的难度与区分度一、测验的信度1.定义信度指的是测量结果的稳定性程度2.信度的作用信度是衡量一个量表质量高低的重要指标。信度不高的量表是不能使用的。3.常见的信度种类（1）重测信度（2）复本信度（3）分半信度（4）同质信度(内部一致性信度）（5）评分者信度重测信度是指用同一个对同一组被试施测两次所得的结果的一致程度。公采用皮尔逊积差相关。()重测信度的使用前提条件：1.所测量的心理特性心理必须是稳定的2.遗忘和练习的效果基本是是相互抵消的3.在前后两次的施测间隔期内，被试在所要测查的心理特质没有获得更多的学习和训练例一用一个算术四则的速度测验12个小学生，得分记为X，为了考察测量结果的可靠性，于3个月后再测一次，得分记为Y，问测验结果是否可靠？学生序号123456789101112X202021222323232425262627Y202121202323252526262729复本信度是指两个平行的测验测量同一批被试所得结果的一致性程度。其值为同一批被试在两个复本测验上所得分数的积差相关。复本信度的前提是构造出两份或两份以上的真正平行的测验（即A、B卷）分半信度是指将一个测验分成对等的两半后，所有被试在这两半上所得分数的的一致性的程度。（也称内部一致性程度）分半信度的前提是只能施测一次或没有复本的情况下使用。例三对初中一年级学生进行地理成绩测验，每答对1题得1分，答错1题得0分，其测验结果如下表，试估计该测验的折半信度？学生序号题序12345611000002000100310100041100105100100611101171111018110110901100110111111评分者信度是指多个评分者给同一批人的答卷进行评分的一致性的程度。用肯德尔和谐系数进行估计。影响信度的因素被试主试者施测情境测量工具提高测量信度的常用方法适当增加测验的长度新增的项目必须同质，新增的数量必须适度使用测验中所有试题的难度接近正态分布，并控制在中等水平。主试严格执行操作规程，评分者严格按标准给分。实测场地按测验手册的要求进行布置，减少无关因素干扰二、测验的效度1.含义测验的效度指的是测量的正确性和有效性，即它能够测出所要测量的心理特质与行为特征的程度。换言之，效度指测验能在多大程度上达到测量目的。2.效度的类型2.效度的类型内容效度、构想效度、实证效度（1）内容效度内容效度指测验题目对有关内容或行为范围取样的适当性，也就是测验所选的项目是否符合所要测量的东西，其代表性是否适当。(2)内容效度的确定方法（3）内容效度的统计方法（2）内容效度的确定方法内容效度的确定方法主要是逻辑分析法，其工作思路是请有关专家对测验题目与原定内容的吻合程度。其具体步骤是：明确欲测的内容的范围，包括知识与能力要求两个方面。确定每个题目所测内容，并与双向细目表对照。制定评定量表，考察题目对所测内容的覆盖率，判断题目难度与能力要求之间的差异，还要考察各种题目数量与分数的比例以及题目形式对内容的适当性，对整个测验的有效性作出总的评价。（3）内容效度的统计方法从同一个教学内容总体抽取两套独立的平行测验，用这个测验来测同一批被试，求其相关。例1还有一种是再测。这种方法操作过程：在被试学习某种知识之前作一次测验（如学习电学之前考电学知识），在学过该知识后再作赋闲的测验。这时，若后测成绩显著优于前测。例1例一在《物理》某一单元教学之前，对学生进行有关这一单元内容的测验。教学之后，再以复本测验施测，两次测验分数如下，试检定测验的内容效度？(学生序号12345678910教学前X34403230313544334236教学后Y52645054586372626250结论然后根据自由度df=N-1=9,查t值表，寻得0.01显著性水平t的双侧临界值为t（9）0.01=4.781，而实际计算出的[t]=13.974.781=t(9)0.01，于是可以说，教学前后学生在两个复本测验上得分的平均数有极显著性差异，从而可以作出判断，《物理》中该单元测验的内容具有有效性，或内容效度较高。内容效度应用内容效度主要应用于成就测验、学科测验、选拔和分类职业测验。内容效度不适合用于能力倾向和人格测验。2.构想效度（结构效度）（1）定义构想效度指测验对某种理论的符合程度，其目的在于用相应的理论观点对测验的结果加以解释及探讨。（2）结构效度的确定步骤提出理论假设，并把这一假设分解成一些细小的纲目依据理论框架，编制出具体题目。用逻辑与实证的方法来验证假设。（3）结构效度的估计方法测验内部寻找证据：根据某种理论构想所编制的测验如果有内容效度，也就证明了该测验有一定的构想效度。测验之间寻找证据：将测验结果与另一个效度已知的同类测验结果进行相关检验。如果相关高，说明所编制的测验具有一定构想效度考察测验的预测性：如果用来测量某一理论构想的测验可以有效地预测某一行为，那么可以说该测验具有一定的构想效度3.实证效度实证效度又称效标关联效度，指一个测验对处于特定情境中的个体行为进行预测的有效程度。也就是说，一个测验是否有效，应该以实践的效果来作为检验的标准。其中被预测的行为是检验效度的标准，简称效标如高考是否有效，与大学学习成绩效标不仅随测验的种类不同而不同，而且可能随时间而改变，现在是一个好的成功的效标，将来就不一定是。所以，为某个测验选择一个最有效的效标，这是最重要的事情。教育测验的效标，可采用各学科成绩和教师评定的结果；智力测验的效标，可采用学科成绩、教师评判的结果、学生总成绩、受教育年限、年龄以及其他事物；能力倾向测验的效标，可采用特殊课程或特殊训练的成绩；职业兴趣测验的效标，可采用从业人员实际服务成绩或记录；人格测验的效标，可采用编制者的主观标准，或以被试以后行为或临床资料。效标关联效度的估计方法（1）相关法由于测验分数和效标分数这两个变量的类型不同，二者相关系数的计算方法也就不同。A、积差相关法：适用于两个变量为连续变量进行显著性检验：自由度df=N-2，检验的是两个变量，都减去2；置信度取0.05，查相关系数界值表，寻找临界值；结论：r临界值，说明显著相关，效度高；r临界值，说明无相关，效度低。例二用一套高中数学成就测验对某校高一10个学生施测，其测验分数X如下，并以这些学生的物理学科考试成绩为效标，试估计高中数学成就测验的效标关联效度系数，且检验数学和物理两成绩变量是否相关？效度如何？自由度为10-2=8，直接查0.05或o.o1的置信区间大还是小。学生序号12345678910数学X88806860963232646475物理Y94785648703862787082效标关联效度的估计方法（2）区分法该方法的思路是：被试接受测验后，让他们工作一段时间，再根据工作成绩好坏分成两组，然后再回过头来分析这两组被试原先接受测验的分数差异，若这两种人的测验分数差异显著，则说明该测验有较高的效度。练习1、用一套高中生成就测验对某校高二15个学生施测，其测验得分如下，并以这些学生校内生物学科的期末成绩为效标，试估计高中生物成就测验的效标关联效度？学生序号123456789101112131415测验分数X423850404248394541434636544442校内成绩Y726685707883698272757782908480（三）提高测量效度的方法1、影响测量效度的因素测验的构成（要素）测验实施方面（过程）被试主观状态方面估计效度所依循的效标样本方面三、难度难度是指试题的难易程度。一道试题，如果大部分被试都能答对，则该题的难度就小；如果大部分被试都不能答对，则该题的难度就大。一个题目的难度大小，除了所测的内容本身的难易程度有关以外，还与测验的编制技术和被试的知识经验有关，由于学得不清楚或者因被试没学过，一个本来容易的题可能变难。这就是说测验的难度具有相对性，正因为此，必须让试题通过实践来对难度作出检验。难度的计算（一）基本公式1、客观题难度的计算（当人数较少时）P=R/NR为答对该试题人数，N为参加测验总人数适用范围：客观题，只有答对与答错两种可能。（即二分）例1：在100个学生中，答对第一题的30人，答对第二题的60人，求第一、二道题的难度？比较这两道题谁比谁难？2.极端分组法当被试人数较多时，则可以先将被试依照测验总分从高到低排列，分成三组，总分最高的27%的为高分组（NH）总分最低的27%为低分组。分别计算出高分组与低分组的通过率，然后求项目的难度。公式为P=（PH+PL）/2PH为高分组答对该题的百分比；PL为低分组答对该题的百分比。例：某区域1000人参加考试，试卷第一题高分组180人答对，低分组60人答对，求该题难度？3.非二分法记分的项目的难度如论述题公式P＝某题平均得分/该题满分2、主观题难度的计算例2：某道论述题满分12分，所有考生在这道题上的平均得分为3.6分，求该题的难度？例3：语文测验第五题满分为12分，这道题考生的平均得分是8.5分，求该题难度？例4：60人参加考试，某题满分为12分，正确得分累积是480分，求该题难度？例5.某区域1000人参加考试