通用试题库组卷策略算法1

通用试题库组卷策略算法1余胜泉姚顾波何克抗[e-mail]@elec.bnu.edu.cn北京师范大学现代教育技术研究所100875【摘要】在题库建设中，试题质量控制与属性参数标注、用于组卷的组卷策略的设计是最重要的两环，本文从设计组卷策略的角度出发，介绍三种实用组卷策略。本文介绍的组卷策略算法由三部份组成：试题属性项定义、组卷参数的定义、变换算法的说明。【关键词】题库、组卷策略、组卷算法、难度、区分度、认知分类、曝光时间题库（ItemBank）是“按照一定的教育测量理论，在计算机系统中实现的某个学科题目的集合”。题库在教学实践中有两个独特的优越性：第一是管理上的优势，体现为使用题库的高效、经济、灵活和保密；第二是测量上的优势，体现为由题库生成的试卷具有高质量、能预控和等值可比等特点。目前，我们一般的命题过程是这样的：制定考试大纲和试题编写原则，向有教学经验和命题经验的教师或命题专家征集题目，通过小规模的试测获取关于题目和试卷的统计数据，然后从质和量两方面的角度对题目和由题目组成的试卷进行分析、判断和调整，之后再以这套试卷施测于考生对象。这种命题过程存在着大量人力财力浪费的问题，而且不能保证出题的科学性。随着经济和社会的发展和终身教育观念的普及，迫切需要有科学、方便、完善的题库管理系统，作为积累题目、自动组卷、保存成卷、分析试卷的利器。在先进理论指导下用计算机管理的题库，具有科学、高效、经济、灵活、方便等显著特点。题库为题目的保存、分类和检索提供了便利，为编制试卷提供了高效率和低成本的手段；而更为重要的是它作为评价工具的作用。教学过程中充分利用题库这种教学资源，进行富有成效的形成性测验，可以帮助师生把注意力从名次、得分集中到要实现的教学目标上来，真正关心学生的学习困难和错误所在，关心学生素质的提高，促使教育观念从“应试教育”向“素质教育”转变。因此，对题库进行研究和建设是具有十分重要的意义的。在题库系统建设中，试题质量控制与参数设置、组卷策略是最重要的两个环节；题库建成后，我们需要输入一些查询参数，系统将根据这些参数抽出最适合参数要求的试题，组成能够实际使用的试卷，定义这种查询参数以及对这些参数进行变换算法，我们称之为组卷策略。组卷策略的实质是将对人比较直观明了的组卷参数变换成计算机能够直接操作的试题属性项，然后根据这些属性项，在题库中抽取试题组成试卷。因此，完整的组卷策略应该由三部份组成：试题属性项定义、组卷参数的定义、变换算法的说明。根据组卷方式和评价的类型不同，我们可以将组卷策略划分三大类型：快速组卷、相对评价组卷、绝对评价组卷。下面我们将对它们作详细的说明。下面我将对这三种组卷算法作详细说明，由于三种组卷策略的试题属性项定义、组卷参数的定义基本相同，我将它们一起说明，不同的地方，在文中指明。一、试题属性项定义一般题库中试题所具有的属性项有：试题编号，试题类型，考察知识点，难度，区分度，认知分类，题干，操作说明，答题时间，建议分数，使用总次数，上次使用时间，出题人，出题日期，归档时间，保留项。其中经常用于选题的参数有：试题编号，试题类型，考察知识点，难度，上次使用时间，区分度，认知分类。上面试题的属性比较直观明了，在此只对一些主要的属性项作简要的说明：试题编号：试题的唯一标识，只要知道某个试题编号，便可唯一确定一道试题，这对利用计算机处理试题极为重要。试题类型：试题的类型，如填空、计算、填空等，抽题和组卷的重要参数之一。考察知识点：这道试题在这个学科的教学大纲中所属的知识点，它是教师用来确定考试范围的重要依据之一。难度：题目的难度是衡量题目难易水平的数量指标，通常以题目的答错比率来表示：如果答对的人数越多，题目就越容易，难度就低。难度在题库中的作用主要是为了筛选题目。题目难度的选取需要考虑到测验的目的和性质。比如，如果测验是用于选拔录用人员，就应该比较多地采用那些难度值接近录取率的题目。区分度：题目的区分度也叫题目的鉴别力，它是衡量题目对不同水平被试的心理特质的区分程度的指标，如果题目的区分度高，那么水平高的被试在题目上的得分就会高，而水平低的被试就会得分低，这样就可以把不同水平的被试区分开来。区分度属性在题库中的作用也是挑选题目。题目区分度越高，它分辨学生的知识水平和素质高低的能力就越强，因此对于相对评价的考试来说，题目区分度是很重要的参数。此外，对诊断类型的测验，区分度越高，就越能够快速而精确地定位学生问题之所在，为采取补救措施提供依据和方向；而使用区分度低的题目组成的诊断试卷，则在分析考试情况时容易产生误判的情况。认知分类：学科体系与教育目标分类理论将决定整个题库及生成试卷的内容效度，是制定征题规划的根本依据，题库的整个框架结构就是要按照这个要求来设计与建造的。教育目标的分类方法，一般是采用布卢姆的知识、领会、应用、分析、综合、评价等六类。但是在实际应用当中，不同地域，不同学科，教师或教育研究人员也可以提出更符合实际情况的分类标准。只要试题属性和组卷参数对它的定义一致，那对组卷策略就没有太大的影响。上次使用时间：题目的使用总次数和上次使用时间两个参数可以用来控制题目的曝光度。为了试卷的保密性、公平性和安全性起见，在抽取题目组成试卷的时候，需要控制题目的曝光度。控制曝光度有两方面的考虑，一是如果题目在规定的日期范围之后被使用过，本次就不再使用；二是如果有几个同时都满足条件的题目可供选择，那么在抽取试题的时候应该选择使用次数少的题目，以达到使用上的平衡和控制曝光度的目的。二、组卷参数定义我们知道，计算机抽题是根据试题的属性一道一道进行处理的，教师一般都不可能对所有试题的属性进行设置，因此，我们要设置一些教师易于理解、容易操作，同时又能很好体现教师考试意图的组卷参数。设置组卷参数的主要依据是一套完整试卷的属性，比如试卷标题，考试时间，考察的知识点等，还有一些与评价类型相关的特殊考虑，如相对评价主要要考虑难度，而绝对评价则主要要考虑认知分类。下面我就来介绍我们在国家九五重点科技攻关项目《面向中小学通用试题库生成与管理系统》中所设置的组卷参数，不同的组卷策略有所不同，为了叙述方面，我将它们放在一起介绍，特殊的在文中说明。1．总体参数总体参数是指对试卷的整体属性的说明，具体有：试卷标题，考试时间，满分值、平均难度、平均区分度、曝光时间、考察的知识点。对于平均难度和平均区分度的定义，请见第5和第6部份说明。其中对于相对评价组卷，需要设置试卷的难度比例，所以不需要设置平均难度；表A：总体参数表参数名称试卷标题考试时间满分值平均难度平均区分度曝光时间考察的知识点参数值Test100100难中1998/09/02(1)(2)(3)…(m)注：表中数据为示例数据，(1)(2)(3)…(m)表示有m个知识点。2．题型比例题型比例指试卷的题型结构，也就是试卷中有那些大题型，某道大题型下有多少道小试题，这些试题在试卷中占多少分，某题型要考察那些知识点，题型比例参数可概括成为一个一维表，其中列为：题型，试题数，分数，题型考察的知识点。表B：题型比例表题型试题数分数考察知识点A1020(1)(6)(5)B520(2)(4)…………N15(3)注：表中数据为示例数据，A、B…N表示有（n）个题型。3．知识点——难度比例对于相对评价组卷，主要要控制的是试卷难度，我们需要确定整个试卷的难度比例及考察知识点的比例，还需要知道某个知识点下具体的难度比例，由此，我们可以得到一个二维参数表，其中列为难度等级（在此分为五等，实际应用时，可根据实际情况划分），行为考察知识点。表C：知识点——难度比例表难度知识点难较难中较易易(1)10%1%5%(2)4%16%………………(m)……………注：表中数据为示例数据，(1)、(2)…(m)表示m个题型。4．知识点——认知分类比例与相对组卷类似，绝对评价组卷主要要控制的是试卷的认知分类，以诊断学生在某知识点的掌握程度，这样组卷时不仅需要确定整个试卷的认知分类比例及考察知识点的比例，还需要知道某个知识点下具体的认知分类比例，同样我们可以得到一个二维参数表，其中列为认知分类等级（在此采用布鲁姆的认知技能分类，实际应用时，可根据实际情况划分），行为考察知识点。表D：知识点——认知分类表难度知识点知道领会运用分析综合评价(1)10%5%(2)5%10%5%…………………(m)………………注：表中数据为示例数据，(1)、(2)…(m)表示m个题型。5．参数约束条件在组卷策略中，输入上述参数时，并不是随意的，参数必须符合如下约束条件：约束条件1：题型分数值满足：约束条件2：题型考试时间值满足：约束条件3：题型比例表中所出现的知识点必须为总体参数中所设的知识点。约束条件4：难度比例满足如下条件：约束条件5：认知分类比例满足如下条件：6．平均难度与平均区分度计算模式在使用平均难度与平均区分度参数时，并不是所有的试题的难度或区分度都是平均值，而是有一个比例模式的，这种模式中包括所有的难度级别，区别只是比例数不同。模式值可以有多个，在具体使用中，模式类型可以取随机值。表E：平均难度计算模式表模式类型难度级别难度比例难较难中较易易A难40%20%20%15%5%较难15%40%25%15%5%中10%20%40%20%10%较易5%10%25%40%20%易5%5%25%25%40%B难35%30%15%15%5%较难20%30%25%15%5%中5%25%40%25%5%较易5%5%30%40%20%易0%5%30%30%35%…………………表F：平均区分度计算模式表模式类型区分度级别区分度比例优良中较差差A优40%20%20%15%5%良15%40%25%15%5%中10%20%40%20%10%较差5%10%25%40%20%差5%5%25%25%40%B优35%30%15%15%5%良20%30%25%15%5%中5%25%40%25%5%较差5%5%30%40%20%差0%5%30%30%35%…………………注：表中数据为示例数据，具体应用时，可设置更多的模式类型，比例也可以有所变化。7．最终抽题时的组卷参数上面所陈述的都是为了使教师使用方便而设置的组卷参数，而计算机进行处理时，并不能直接用上述参数来抽题，我们需要对它们进行变换，变成如下所示的最终组卷参数表，这两者之间的变换方法就是组卷策略。表G：最终组卷参数表试题编号题型难度等级区分度等级认知分类知识点1A难（1）2A难（1）………………在实际组卷时，每道试题选取的条件为：曝光时间参数：曝光时间定义的曝光时间试题编号参数：试题编号已抽出的试题编号抽题时的最终条件为：最终组卷参数表中的每一项（表与表中的每一项为与的关系，不包括试题编号）AND曝光时间定义的曝光时间AND试题编号已抽出的试题编号。若某个条件抽出的试题数大于一道，则从抽出的试题中随机取一道，若抽不出试题，则顺次取消的控制条件为：曝光时间、认知分类、区分度；若仍抽不出试题，则难度进行最小程度的变化（变一级）、若还抽不出试题，则在考察的知识点中抽随机知识点值。三、组卷策略的变换算法1．基本的组卷方式通常情况下，我们只需要设置试卷的一些整体属性参数和题型结构参数，便可以组出一份满意的试卷，它对题目的知识点难度分布没有特殊要求，只设平均难度和平均区分度参数，参数设置简单直观，常常用于快速组卷。其组卷步骤为：1）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考察的知识点，平均难度、平均区分度；示例值见表A；2）设置题型比例表，示例值见表(2)，检查约束条件1、2、3，生成最终组卷参数原型表，表的格式见表B；3）题型与知识点分布对应：根据题型比例表，来计算某知识点某类题型所出的试题数，如知识点(1)下填空题2道，计算题1道等等，并预写最终组卷参数表（填写参数表的知识点列）；变换公式为：知识点——题型比例表某知识点某类题型所出的试题数=题型比例表某类题型的试题数DIV（整除）该类题型的考察的知识点数+Random（题型比例表某类题型的试题数MOD