快速评卷最优策略

最优快速评卷策略摘要在确定像数学建模竞赛这种比赛形式的优胜者时，评委常常需要评阅大量试卷。本文主要讨论了如何制定快速评卷方案，使每个阅卷人批阅答卷份数最少，以提高评卷效率，同时使评阅准确率足够高，以保证评卷结果的公平公正。本文在建立评卷模型前，先对试卷进行加(解)密处理，以保证评卷过程和结果的公平公正，然后对阅卷人员进行评阅测试，得到每个评阅人员的评分类型，其中评分类型分为偏激、中间和保守，这样纠正了由于阅卷人个人喜好而造成的系统误差。针对评委评审论文的实际需要，在充分合理的假设条件下，本文提出了两种评审方案，建立了以目标函数为1minJjiZP的圆桌评卷的优化模型，再利用Matlab软件对两种方案进行了仿真模拟，同时检验其精确度。在P=100，J=8，W=3的条件下，对方案一仿真模拟1000次得到的结果如下表所示评阅人1号2号3号4号5号6号7号8号评阅数目2121212120202121总评阅数目166准确率99.7%在P=100，J=8，W=3的条件下，对方案二仿真模拟1000次得到的结果如下表所示评阅人1号2号3号4号5号6号7号8号评阅数目2626262626262626总评阅数目208准确率96.1%若采用方案1，总工作量为288篇，每位评委的工作量为35篇或37篇，准确率R在95%以上，保证了相当高的精确度；若采用方案2，总工作量为208篇，每位评委的工作量均为26篇，准确率R在96.1%以上。最后本文对于两种方案的结果，进行了分析评估，还讨论了P，J，W变化时，对准确率的影响。当P、W一定时，评委人数J的数目越多，准确率越高；当P、J一定时，最终选出优胜试卷的份数W越多，准确率越高；当J、W一定时，答卷数目P越多，准确率越低。关键词：最优评卷方案计算机仿真圆桌评卷模型系统误差1问题重述1.1问题背景在确定像数学建模竞赛这种形式比赛的优胜者时，常常要评阅大量的答卷。基于竞赛资金，对于能够聘请的评阅人数量和评阅时间的限制，所以制定一种快速评卷策略对于评审团十分重要。1.2评卷方案相关信息理想的情况是每个评阅人看所有的答案，并将它们一一排序，但这种方法工作量太大。另一种方法是进行一系列筛选，在一次筛选中每个评阅人只看一定数量的的答卷，并给出分数。为了减少所看答卷的数量，考虑如下的筛选方法：如果答卷是排序的，则在每个评阅人给出的排序中排在最下面的30%答卷被淘汰；如果答卷没有排序，而是打分（比如说从1分到100分），则某个截止分数线以下的答卷被淘汰。这样，通过筛选的答卷重新放在一起返回给评阅小组，重复上述过程，人们关注的是，每个评阅人看的答卷总数要显著地小于P。评阅过程直到剩下W份答卷时停止，这些就是优胜者。当P=100通常取W=3。注意在打分时存在系统偏差的可能，例如，对于一批答卷，一位评阅人平均给70分，而另一位可能给80分。在你给出的方法中如何调节尺度来适应竞赛参数（P，J和W）的变化？1.3需要解决的问题你的任务是利用排序、打分及其他方法的组合，确定一种筛选方法，按照这种方法，最后选中的W份答卷只能来自“最好的”2W份答卷（所谓“最好的”是指，我们假定存在着一种评阅人一致赞同的答卷的绝对排序）。例如，用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中，在所有满足上述要求的方法中，希望你能给出使每个评阅人所看答卷份数最少的一种方法。在你给出的方法中如何调节尺度来适应竞赛参数（P，J和W）的变化？2.模型假设与符号说明2.1问题假设假设一：假设存在评委一致赞同的绝对分数，评委的评分能力处于较高水平；假设二：假设各评委独立工作，互不干扰，评卷过程绝对公平；假设三：假设评委打的分都为整数,打分是按照百分制进行的；假设四：假设计算机仿真出来的数据具有很好的代表性；假设五：假设对于同一份答卷，每个评阅人员只能评阅一次，若再次分到已评阅的试卷，就上交，重新分配；假设六：假设每个评阅人评阅单份试卷的时间、费用都相等,时间、费用与阅卷份数成正比；2.2符号说明符号符号说明P评卷开始前总的答卷份数J评委的人数W优胜试卷的数目xij第j位评委对第i号试卷评的实际分数ijX第j位评委对第i号试卷评后修正的分数()Li第i份试卷被数名老师评后的加权平均分()Di第i份试卷的绝对分数Ni第n轮第i份试卷被打分的次数jZ第j位评委打分时的系统误差Pn第n轮总共有nP份试卷Q所有评卷人评阅试卷的总次数模型仿真1000次的准确率3问题分析在确定像数学建模这样的大型竞赛的优胜者时，常常要评阅大量的答卷，对于评阅人来讲是一个很大的工作量，如果分配试卷的方法不够合理，也许还会使工作量加重。问题就是要求我们利用排序、打分及其他方法的组合，确定一种筛选方法，可以使批阅的答卷尽量的小。而我们也知道考试的评阅答卷过程应该尽量的公平，而且评阅人在打分的时候存在系统的偏差。接下来我们就讨论这两个方面分析，从而推导出评阅试卷的程序。3.1批阅试卷数量的分析如果有P份答案，由J位评阅人组成的小组来完成评阅任务，由于受到竞赛资金、能够聘请的评阅人数量和评阅时间的限制，我们在批阅答卷的时候不可能达到理想的情况，即每个评阅人员看所有的答案，并进行一一排序，这种方法的工作量太大。为了减少所看答卷的数量，将答卷随机平分给评阅人员，然后采用淘汰制将每位评阅人给出的排序中的排在最下面的30%答卷淘汰。而我们的排序是在打分的基础之上的，所以每个评阅人都对答卷打分之后，再对自己手中的试卷排序，从而淘汰30%的答卷，这样每次就可以减少每位评阅人员一定数量批阅份数。之后重复这样工作淘汰30%可以使答卷越来越少。而对于淘汰的答卷我们就不予理会，这样会减少工作量。题目中也要求在从P份答卷中选取W份的优胜答卷，应当来自于最好的2W份中，所以当每个阅卷人手中的试卷接近2W份时，应当对答卷详细的打分，就是说应当让每个评委都打分，最后共同在将近2W份答卷内选出最优的W份答卷。3.2公平性的分析由于像数学建模这样的开放性竞赛答卷，都是由每一个考生按照自己的思维所得到的答案，所以答卷并没有标准的答案，也就是老师的主观因素对答卷的分数起很重要的作用。还有就是每个评阅人对于同一份答卷也会打出不同的分数，这也是我们不能忽视的因素。这些系统误差和一些偶然误差都会导致不公平的发生，所以我们应该尽量减少这种不公平性的发生。这就需要我们对每一个评阅人所打的分数有一个统一的评估，让每个评阅人对同一份答卷打分，我们可以用一个方法，尽量使这些不统一的分数用调整后的分数来衡量。而淘汰答卷时我们在资金、人员、时间的允许下也可对淘汰的试卷打分。最后在从将近2W份答卷内选出最优的W份答卷时，我们也尽量的让优胜者是在尽量多的人都满意的情况下产生，这样我们既保证了优胜者是优秀的，被淘汰的答卷也是在公平的条件下被淘汰的。对于系统误差我们可以引入加权平均值来调节每个评阅人员的评分偏差，但是对于评阅人员个人也存在偶然误差，在批阅答卷的时候由于时间和评阅人员体力的影响，在刚开始评卷时对答卷的生疏会产生误差，处于中间阶段状态最佳，误差也是最小，随着时间和体力的疲劳就会产生疲劳误差。由于自己的偶然因素产生的误差也应该考虑到。3.3评卷流程分析综合以上两种情况的分析，我们在评阅答卷的时候在保证批阅答卷的总份数尽量少的基础之上，确立了两种评卷流程;最后可以得到模型的流程图：否是图一：仿真流程图对阅卷人员进行培训开始加密修改评卷方案第2轮到第1n轮筛选第一轮筛选第n轮筛选出前三名算出总评阅次数和准确率95%方案合理各方案对比分析，找出评阅次数最少的方案4.数据的获取与处理4.1仿真出100份试卷的真实分数据经验可知，对答卷所打的分数符合正态分布，本题中采用的是百分制所以70,100N。用计算机模拟答卷分数并将P=100份试卷进行1—100编号。如下表：编号数据编号数据编号数据编号数据编号数据173217041796187819126622894276627382623742377436363488388458246444726472848055725664577655985716742658466466578661772277447716767877786628724864688688849552976495669568976109330915064706790761162318051727157918012663276527072729263137333845374738993611480346954897482948615683564554275749579166236755669765896661780377757767771977818673877587278709883197839515982796699492066408360578076100634.2对答卷进行加（解）密处理为了显示评卷过程的公正性与合理性，我们先将要进行评阅的答卷进行随机的排序处理后并标号1-P，表示成矩阵B，A为一个幻阵,C也为矩阵然后根据矩阵加（解）密算法：1）A为一个幻阵，则*AABC的过程即为加密过程，其中B为明文，C为密文。2）1111*()()AACAAAABB，此过程即为解密过程。加密的密钥A为幻阵：92991815677451584098807141673555764414818820225456637047858719A2136062697128869325296168755234172476839042492633652358289914830323966796139597293138457210129496783537444653111810077843643502759将这P份答卷进行加密处理。4.3加密后答卷编号对应的密文在试卷进行评阅前，我们将明文即编号1—100用计算机编程求出它们的相关密文，加密后1-100号试卷编号对应的密文如下表：编号密文编号密文编号密文编号密文编号密文11152677521120517754110908025611197702581119577752117818002212306800421116305062122320508212212800312036825231256182543114180756312487075831246782541229185024128168504411673100641274210084127228505125468752513071875451192812565129971258512977875612801900261332690046121831506613252150861323290071305692527135819254712438175671350717587134879258133119502813836950481269320068137622008813742950913566975291409197549129482256914017225891399797510138220003014347000501320325070142722509014253000111244577531110202755111714275711233302591113767751212700800321127530052119693007212588050921163180013129558253311530325531222432573128430759311886825141321085034117853505412479350741309810094121418501513465875351204037555127343757513353125951239687516137209003612295400561298940076136081509612651900171397592537125504255713244425771386317