NOIP官方评测系统使用培训

NOIP标准评测系统使用培训赵启阳丁海峰2008.01.282008全国青少年信息学奥林匹克竞赛冬令营Arbiter介绍NOIP单机版评测系统(Arbiter)是NOIP信息学联赛指定的唯一标准评测工具此评测系统采用与NOI网络评测系统完全一致的评测标准，对NOI选手的学习具有促进和指导作用，便于选手更好地适应NOI系列比赛。系统特性支持当前主流的Linux发行版本Redhat/FedoraCoreUbuntu支持多种语言(C/C++/Pascal)灵活的可配置性功能多样化时间控制的精确性（误差不大于5ms）有效的内存使用限制开发历程&使用情况此系统是经CCF授权，由尹宝林教授指导开发完成，目前的版本是1.02，具备良好的可靠性和稳定性。在NOIP2006和NOIP2007中部分省份评测和全国复评中使用，验证了正确性和效率等关键性能。NOIP2006中有7个省试用，NOIP2007中有20个省试用，评测结果与全国复评结果的差别明显小于使用非标准评测系统的省份。很多老师对系统提出了错误报告和改进意见，在此向他们表示诚挚的感谢！提纲基本安装运行配置考试执行评测成绩统计评测插件编写常见问题建议使用环境硬件环境、编译器版本以竞赛规则为准当前使用Redhat9.0版本，将来可能切换到Ubuntu7.10版本上建议版本：评测系统安装和启动从下载最新的评测系统安装文件，保存至当前用户home文件夹，并双击打开安装完成后，会在桌面上创建一个快捷方式，双击即可启动评测系统可打开附带的示例考试(example)测试系统是否工作正常评测系统工作原理标准输入数据problem.in标准答案文件problem.ans选手程序problem选手答案文件problem.out评测插件problem_e选手成绩选手源程序problem.c/.cpp/.pas比赛配置一次比赛可以配置多场考试一场考试可以配置多道试题每道试题都提供了多个配置点，为比赛的组织提供了很大的灵活性试题配置点（一）试题名称题目及相关数据的唯一命名决定了选手程序、评测数据的命名规则使用英文，4-10个字符提交方式源代码答案文件试题配置点（二）测试点数目/分值测试点数目，及每个测试点的权值，总权值应为100数据输入方式文件输入（建议使用）标准输入试题配置点（三）时间限制选手程序运行时间上限，以秒为单位以进程的用户时间(usertime)为准给予选手1.1倍运行时间限制，超时将被强行终止。防止选手程序运行时间过长内存限制选手程序占用内存上限，以MB为单位(虚拟内存)‏试题配置点（四）使用语言/编译选项目前支持在比赛中使用C/C++/Pascal三种语言编译选手程序所需的选项，如-lm链接数学库运行参数运行选手程序所需的参数（较少使用）试题配置点（五）标准评测插件字符串比较单行/多行/全文(空格过滤)‏整数比较单行单个/单行多个/多行单个/多行多个浮点数比较单行单个/单行多个/多行单个/多行多个(精确度)‏自定义插件随测试数据提供，通常命名为problem_e通过对话框选取，将被复制到filter/目录下试题配置点（六）所有题目配置完成后，可在试题概要界面检查试题配置信息是否正确确认无误后选择保存后方可生效准备选手名单自动导入.CSV格式(CommaSeparatedValues)‏纯文本格式每条记录占一行以逗号为分隔符可用MicrosoftExcel或OpenOfficeCalc编辑和导出第一列为选手编号，第二列为选手姓名选手编号格式为[省份代码-3位数字]，如HN-007文件编码为GB2312编码手动添加CSV文件的示例Namelist.txtHN-001,罗韬威HN-002,张健HN-004,孟来俊HN-005,蒋哲良HN-007,吴骏准备评测数据评测数据存放在evaldata/目录下遵循以下命名规则(不包含中括号)‏标准输入文件为[试题名称][测试点编号].in标准答案文件为[试题名称][测试点编号].ans准备选手目录选手程序存放在players/目录下每名选手拥有以自己编号命名的目录选手目录下，每道试题拥有以试题名称命名的目录选手程序保存在相应试题目录中，主文件名为试题名称，扩展名为.c/.cpp/.pas注意事项需严格检查卷面说明与试题配置是否一致时间限制内存限制数据规模编译选项……确认评测插件具有可执行权限chmod+x…文件管理器执行评测评测系统可以多种方式灵活地执行评测可以选定评测的考试场次可以针对全部选手或选定选手可以针对全部试题或选定试题评测的过程中可以通过“评测选定选手”按钮右侧的进度条和考生列表中的指示灯来掌握评测的进度实用功能查看选手源程序双击考生列表中某道试题的分数可以弹出一个窗口显示考生该题目的源程序成绩统计评测系统提供了多种成绩数据统计视图，帮助比赛组织者了解比赛的各方面细节总体统计分组统计试题统计等级统计总体统计本TAB页可以显示所有考生在本场比赛中所有场次的考试成绩及总分可以自定义每个分数段的考生人数可以打印或导出考生的总体成绩单，和每个考生的成绩单总成绩单导出为csv格式个人成绩单导出为ps格式分组统计该TAB页可以针对各省代表队成绩进行统计可以选择自定义统计,即获得每个代表队前几名的总成绩可以导出打印统计数据试题统计该TAB页可以显示每道题目的得分情况,以及一些重要的评测数据，如该程序题每个测试点的平均用时、最短用时等用于帮助命题人了解此次考试的难度、解答情况等等级统计该TAB页用于评奖,在右边输入评奖规则(既可以是人数也可以是百分比)，就可以在左侧显示学生的得奖情况打印成绩单在统计工具中导出成绩单后,每名考生的成绩都将被保存在ps/目录下，相应的考试天数及相应的考生编号目录下ps格式(postscript)可使用以下软件查看或打印linux：ghostview,evincewindows:ghostview,adobeacrobat上报成绩NOIP省内评测结束后，需上报以下内容：选手名单，包含选手编号和姓名，csv格式成绩单，包含各题目分数和总分数，csv格式选手目录，players/目录下的所有内容选手评测结果目录，result/目录下的所有内容插件编写的规范（一）评测插件用于评测程序设计题目，由命题人员编写，在评测选手的答案时调用评测插件根据评测系统给出的参数，判断选手答案的正误，并给出相应的得分插件编写的规范（二）评测系统按照如下格式调用评测插件:filternameinputfilenameoutputfilenameanswerfilenamefiltername评测插件程序名称inputfilename测试输入文件名outputfilename选手程序输出文件名answerfilename标准答案文件名注意:评测系统不保证inputfilename,outputfilename,answerfilename所指定的文件存在，评测插件实现时应进行检查插件编写的规范（三）评测插件向标准输出打印评测结果输出结果由两行文本组成第一行为评测信息(evaluation_info)，是评测插件对评测结果的一行文本描述，例如是否正确、错误原因等第二行为该评测得分(score)，是一个整数数字评测插件给出的得分，就是该测试点的最终得分，评测系统不作任何附加的处理。多个测试点得分之和为该题总分插件编写的规范（四）返回值程序正常结束时返回0，程序异常结束时返回非0整数示例分析常见问题（一）1.当创建一场考试后，将评测系统关闭，再打开时发现考试不存在了？答：注意每次配置过后都要保存，否则配置不生效。2.评测时显示评测已经结束，但是所有考生的成绩依然为0分？答：请查看/tmp/_eval_score文件的属性，如果是root用户所有将没有读写权限，在root用户下删除此文件。如果，依然不能得到评测结果，请查看插件的是否有可执行属性。常见问题（二）3.评测时某些考生或某些考题出现意外的0分情况？答：请查看该考生以及该考生的题目文件目录及文件是否存在。4.评测插件的功能是什么？答：是对比每个测试点考生答案文件与标准答案文件的，它只判明对错，10分就是对，0分就是错误。具体分数是根据配置的测试点分数决定。常见问题（三）5.如何在windows下显示csv文件和ps文件？答：在windows下可以直接用Excel打开csv格式的文件，双击ps文件，adobereader会自动将ps文件转换为pdf文件的。6.Linux下如何挂载U盘？答：通过/sbin/fdisk-l可以知道所挂载的U盘为哪硬盘号，比如是sdb1，则在root用户下输入：mount/dev/sdb1/mnt/flash即可将U盘挂载到/mnt/flash下了。在拔下U盘之前要执行umount/mnt/flash。Windows版本预览Windows版本预览Windows版本预览讲座结束，谢谢！如有问题请提问