试卷的合理均衡分配和评判反评判体系的构建

试卷的合理均衡分配与评判和反评判指标体系的构建摘要本文就试卷评阅的几个方面作了对比分析，在试卷分配方面利用0-1规划的分层多目标规划解决了试卷的合理分配问题；在对分数的统计排名方面，建立基于关联度分析的试卷综合排名，并对评委评分的评分准确性进行排名，建立评委的评卷水平对试卷排名的反馈体系。比较发现，以上方法均优于传统的试卷评阅方式。对于问题一，本文根据题中抽象出的约束条件建立基于0-1整数分层多目标规划，实现了试卷分配的均衡分散型好的目标。在每份试卷有4位评委评阅的情况下，任意两份试卷间的相同评委数和同一学校的试卷的分散性同时实现了较好（结果详见表3和表4）。对于问题二，本文基于最大相关度理论，将不完全打分矩阵转化为完全打分矩阵，消除了传统阅卷形式中因评委评分尺度不同造成的排名失真；同时在消除并列排名的问题；最后证明了本文的模型在对评委出现误判的情况下，具有较强的纠错能力（结果详见表8和5.2.4）。对于问题三，本文基于问题二中构建的完全打分矩阵引入偏差度，建立识别评委作用的反馈控制，给出了对评委打分排名的反评判指标体系；对问题二中引入的案例二求解，得到带反馈值的试卷排名（结果详见表11和表13）。对于问题四，本文引入实际案例三，根据各个完全评分子模块的稳定性，引入修正系数。每个子模块的初始分数与各模块对应的修正系数即建立起具有相同评分标准的打分系统，实现全部试卷的真是排名；同样的根据评委打分的偏差度，得到了评委的排名（结果详见表16和表17）。关键字：0-1规划多目标规划相关度偏差度修正系数一、问题重述在大学生数学建模竞赛A题的评卷工作中，M个评委（M个评委来自不同的学校）要完成N份试卷的打分，竞赛试卷来自K个学校，第j个学校有竞赛试卷jl份，为节省人力，每份试卷只要由其中p（pMKN）个评委进行打分就行.1．根据回避原则，要求评委不能阅自己学校的试卷，请给出试卷合理的均衡分配方案的数学模型，使各评委阅卷工作量均衡；试卷分配均衡分散。（这里试卷分配均衡分散有下面两个因素要考虑，见后。）给出试卷合理的均衡分配方案的计算机程序，要求用MATLAB或C语言编写。输入参数为p，M，K，N，输出为各评委分别阅卷的号码，就下列实例给出问题的答案。实例：某省有竞赛试卷368份，16个评委阅卷，40所学校，p取3-5自己设定，jl如下表1：表1jl6956554910987654321频数111121222336872．传统的评阅方式是：每份试卷只要由3~4个评委进行打分，（若取4个评委，则去掉一个最低分）按剩下的有效分求和，按分数排名决定名次。试给出你认为更好的试卷排名的评判指标体系，要说明比传统的评阅方式好在哪里。3．给出对评委打分排名的反评判指标体系。该方法要求对每个评委的水平(公平性)给出评价。4．有文献资料证明：对于完全评分矩阵(即全体评委评阅全部试卷)，无论评委评分尺度如何，总可以给出试卷的最好真实排名和反评判问题的评委排名。基于这一思想，全部试卷分配时按矩阵(a)类似情形分成3~5个完全评分子块(两省联合阅卷能做到试卷合理的均衡分配方案)，每一子块当然能决定该子块试卷的最好真实排名和反评判问题的评委排名，问题是由这些结果如何决定全部试卷的最好真实排名和反评判问题的评委排名？二、基本假设1、各评委都是独立的给出试卷的分数，不存在评委之间的讨论；2、评委对每份试卷评判除了误判的情况，不存在刻意的提高或压低分数；3、试卷存在真实的、令绝大多数评委信服的排名；4、试卷分配在每一个模块中的试卷质量是均匀的；5、学校之间存在水平的差异，每个学校中的学生也存在水平差异，但是平均来说学校间的水平差异更明显；三、符号说明符号含义M参与评卷的评委个数N上交试卷的总数K参赛学校的个数p评阅每份试卷的评委的个数ijx第i个评委是否评阅试卷j,mnP任两份试卷具有相同的评委的评委数的集合ijs第i个评委对第j份试卷的评分jS/jS修/Sj反馈第j份试卷的得分/修正得分/反馈得分ija生成的完全打分表中的第i个评委对第j份试卷的评分55C任意两评委间评分关联度矩阵ijw第i个评委对第j份试卷的打分与准确分的偏差i第i个评委的打分的准确性权重iMOD第i个评分子模块i第i个子模块的修正系数id第i个评委的打分偏差度四、问题的分析4.1问题一本题要求完成试卷的分配任务，建立分配的数学模型并对给出的实例进行解答。因为试卷的数量比较大，如果按照常规的评分方式即每一个评委都评阅所有的参赛试卷，则工作量特别大，难以在短时间内实现。所以现在需要建立一种新的分配模式，既要反映评卷的公平性又要减少工作量。在这种分配模式中要遵循3个原则：回避原则，多人评阅原则，均衡原则，2个评价指标：均衡分散指标1，均衡分散指标2。以以上3个必须遵守的原则为约束条件，2个评价指标为目标建立多目标规划。因为题中没有给出M个评委的出处，但在生活习惯中评委的产生经常是随机的，即为评卷的公平性起见，在比赛之初便形成K人组成的试卷评委库，他们分别来自K个学校。评卷开始时由评委会从K人的评委库中随机的抽出M名专家担任评委。4.2问题二传统的试卷评阅方式因为本身是不完全评分矩阵，由于部分评委的评分尺度的把握不同，会造成最终的累加分数不能真实的反应试卷的真实排名。而如果评阅方式是完全评分矩阵的形式，则可以避免因为部分评委评分尺度的不同而造成的排名失真问题。但是由于工作量的制约难以实现所有评委的完全打分，所以可以利用现有的不完全评分矩阵，寻找评分尺度关联度最大的评委,ij，利用j评委的打分来补全i评委打分的缺损，进而建立补全的完全评分矩阵，实现准确的排名。另外，传统的评阅方式即使是采用完全评分矩阵，能够克服评委评分尺度造成的排名失真。但是其简单的叠加积分方式：1pijiSs会出现并列排名的情况，通过构造的补全完全评分矩阵和多次迭代计算可以消除并列排名现象。4.3问题三在问题二中重新建立了试卷的评阅模型，讨论的主要是对评委打出的不完全打分表的处理方式，以期通过评委的打分真实的反应试卷的真实水平，最后的排名能与实际中客观存在的试卷的水平排名尽量吻合。但是实际中评委的评卷水平也是有差距的，水平高的评委打出的分数与该试卷的客观真实的分数偏离比较小，这种评委打出的分数准确度也高；而有些评委则水平较低，打出的分数与实际偏离比较大，其打出的分数准确度也比较低。在确定评委评卷水平的时候我们引入了评委评分的准确性矩阵W，用来衡量评委对每份论文评分的偏差程度。在确定了各评委的评卷水平以后，则可根据各评委的评卷水平确定出各评委的打分准确度i，据此再将i作为每个评委的打分权值反馈到试卷评阅工作中，对个试卷的分数重新计算，即可确定新的各试卷的得分和排名。本题中依然使用问题二中引入的案例。4.4问题四问题四中建立了一个新的分卷评卷的体系，将一个大的评卷规模分成若干个小的规模，评委组也分成若干组，评委组和试卷组则形成了子模块iMOD。在每个模块内部实现完全打分，此时每个模块都能给出试卷的最好真实排名和反评判问题的评委排名。但是iMOD和jMOD间的评委打分却存在尺度偏差问题，这种偏差我们可以用模块平均分之间的差异来衡量，并据此差异引入对各模块的修正系数i，以此来消除模块间的差异问题。根据得到的模块的修正系数i，则可以在整个评卷系统内以较一致的标准对各试卷进行评分和排名；对评委的评卷水平进行评估。本题中引入了案例三。五、模型的建立与求解5.1问题一5.1.1模型的准备各因素的统一编号因为所给的学校、试卷、评委等都是有一定联系的，为了更好的反应其中的关系便于统一使用，需要对3者进行统一的编号。1）学校编号按上交试卷份数的多少排序，如上交份数最多的学校为01号，依次类推，直至K号；2）试卷编号试卷号码编排分为两个步骤：一、试卷评阅委员会给个学校分号段；二、各学校根据评委会分得的号段给各个参赛队编号，再将具体编号信息反馈给评委会。如评委会将01——69号段分给01号学校，01号学校在将自己学校的69份试卷从01——69编号，并将具体信息反馈给评委会。3）评委编号评委编号都与其出自的学校编号一致，即来自01号学校的评委编号为01号。目标与约束条件的解释根据题中信息提取出了2个目标和3个约束条件，现对其解释如下：1）目标1——均衡分散原则1：任意两份试卷出现的相同评委越少越好。2）目标2——均衡分散原则2：分配在每一个评委手中的试卷质量最好是好、中、差分布较为均匀。虽然没有直接给出N分试卷的质量等级，但是各个学校的水平是有差距的，可以以K学校的平均质量来衡量N分试卷的质量，如果01学校的水平高，则认为01学校的试卷质量普遍好于其他学校。所以在分配试卷时只要实现每个学校的试卷被均衡分配到各评委（自己学校的评委不能参评）即可认为每个评委手中的试卷质量是均匀的。3）约束1——回避原则：评委不能评阅自己学校的试卷。即01号评委不能评阅01—1l号试卷。4）约束2——多人评阅原则：为了体现评阅的公正性，每份试卷都需要被多位评委评阅。即每份试卷被评阅的次数等于参与评阅的评委人数p。根据同种所给为p取值为3~5。5）约束3——均衡原则：各评委工作量要均衡，即每位评委评阅的试卷份数要形同。结合约束2知：每个评委需要评阅的试卷份数为：pNnumM当p分别取3,4,5时每位评委评阅的试卷份数的期望值为：评阅次数345期望值69921155.1.2模型的建立建立矩阵()MNijAx´=M行分别对应M位评委，N列分别为N份被阅试卷。ijx为矩阵中的元素，表示第i个评委是否评阅第j份试卷，在此引入0-1规划：ij0,1,ijx第个评委不评阅第份试卷第i个评委评阅第j份试卷ìí=î则对应的目标和几个约束条件可表示为：1）目标1——均衡分散原则1：任意两份试卷出现的相同评委越少越好。令1,10,iminixxD其他ì==í=î其中,1,2,...,Nmn=且mn¹则对任一组给定的,mn，令,1MmniiPD，则,mnP是由2NC个数组成的集合，则目标1的数学表示式为：(){}11,minzmaxmnfxP==其中,1,2,...,Nmn=且mn¹2）目标2——均衡分散原则2：各校试卷被尽可能均衡分到各评阅评委手中。第k个学校的试卷分数为kl，则该校试卷被均衡送到各评委手中的期望分数为klpM，第i个评委评阅的第k校的试卷分数为1111kkkklijjlx-=+ååå，则目标2的数学形式为：()11122211minzkkkklMkijijllpfxxM-==+骣å琪´琪==-琪琪å桫邋其中1,2,...,kK3）约束1——回避原则：自己学校评委不阅自己学校试卷。引入变量'i，其定义为：'i表示第i个评委编号与矩阵A的行号数的对应关系，采用“随机机制”产生评委，则'i需要通过i变换得到，建立相应的变换关系。则约束1的数学表示为：'0ijx=，其中''''''1111,...,iiiiiijll-===+邋4）约束2——多人评阅原则：每一份试卷都要被p个评委评阅。因为矩阵中的列表示试卷被M位评委评阅的信息，所以约束2的数学表示为：1Mijixp==å，1,2,...,jN=5）约束3——均衡原则：每位评委评阅试卷总数相同。矩阵中的行表示评委评阅N份试卷的信息，则约束3数学表示为：1NijjpNxM=´=å，1,2,...,iM=总的模型：因为根据题中所给意思，均匀分散原则的两个目标存在一定的层次关系，所以建立分层多目标优化模型，将1fx做为第一层优化目标，2fx为第二层优化目标。则建立的模型为：1111,2211minmax,,1,2,...,N,1,2,...,kkkkmnlMkijijlLPPmnmnlpPxkKM其中且，''''''111'111,...,0,..1,2,...,1,2,...,iiiiiiijMijiNijjjllxstxpjNNpxiMM其