联想作业管理系统

联想作业管理系统2003年3月需求分析系统概述系统使用A&Q高性能计算机的应用领域正迅速扩展科学计算产品设计生物科学探索...如何既能方便用户管理作业，又能有效利用机群系统的各种软硬件资源，从而提高系统的资源利用率和吞吐率呢？需求分析系统概述系统使用A&Q•系统定义机群作业管理系统是建立在操作系统与用户程序之间的一种系统中间件。•主要目的方便用户管理作业，合理选择作业调度策略，统一管理机群系统的各种软硬件资源，提高系统的整体资源利用率和吞吐率。主要由用户服务器server、作业调度器sched、结点执行器mom和客户端等四部分组成。其中server、sched和mom为守护进程，三者之间协同工作，共同实现作业管理、作业调度和负载平衡等功能。原理如下图1－1所示。MOMschedServer单机环境下的机群作业管理系统内核调度策略事件正在处理的事件作业主要包括作业管理、作业调度、资源管理、系统监控、故障恢复、记帐等功能。•作业管理作业管理包括提交、查看、修改、删除、挂起/恢复、移动和传送作业等。•作业调度由调度算法决定，我们目前提供的调度策略有FIFO、RESERVATION和BACKFILL等，用户可以根据需要灵活配置。•资源管理管理的对象包括服务器、队列、结点等，管理方法是动态地增加、删除对象，设置、修改对象的属性。•系统监控用户通过查看机群系统中各个结点的状态（如空闲、繁忙、作业独占、脱机或故障），决定使用哪些结点来提交作业，实现负载平衡。系统功能（三）•故障恢复服务器进程的“故障恢复”选项，可以恢复处于“排队”和“运行”状态的作业，使其继续运行或重新调度，保证用户服务器的高可用。•记帐记录每个作业占用所分配结点的时间情况。需求分析系统概述系统使用A&Q基本命令扩展命令基本命令基本命令是原系统本身提供的命令qsub,qstat,qselect,qhold,qrls,qrerun,qalter,qdel,qmsg,qmove,qsig扩展命令扩展命令是对原系统的命令集的扩充，方便在大型机群系统中的安装、配置、启动和停止等系列操作，而专门编写的命令mpijob_tcp,pvmjob,pvmjob_tcp,bsub,bjobs,bkill,forall,qview,lsload,nodes,check_calnodes,loadd•qsub提交作业qsub-l指定作业所需要的资源-o指定输出文件名-e指定错误输出文件名•qstat查看状态qstat-q显示已经配置的所有队列状态信息-a显示已经提交的作业状态信息-f[作业名]显示指定作业的所有状态信息-B显示服务器的状态资源数队列名脚本名查看队列状态•qselect查询作业qselect-q[队列名]查询指定队列中的作业[主机名]查询指定主机上的作业•qhold挂起作业qhold[-hhold_list]作业ID•qrls释放作业qrls[-hhold_list]作业IDqhold[-hhold_list]作业ID•qrerun重新运行作业qrerun作业ID•qalter更改批处理作业属性-a更改批处理作业的时间属性-c更改检查作业一致性的时间间隔属性•qdel删除批处理作业qdel[-Wdelay]作业ID•qmsg给批处理作业发送消息qmsg[-E][-O]message_string作业IDqmove目标队列作业ID•qmove在队列之间移动作业qsig[-ssignal]作业ID•qsig给批处理作业发送”杀死”信号基本命令扩展命令nodes无参数分别用不同的颜色显示全部结点的状态信息（包括free,down,unkown,buzy,offline,job-exclusive等），并统计处于各种状态的结点数目。•nodes查看所有计算结点的状态lsload[-h][结点机名…]•lsload查看计算结点的负载和状态loadd时间间隔定期将所在结点的平均负载信息写入以结点名命名的文件中，该文件存放在/usr/local/OpenPBS/loadinfo目录下，如/usr/local/OpenPBS/loadinfo/c****•loadd获得结点的负载信息•mpijob提交mpi作业使用gm协议•mpijob_tcp提交mpi作业tcp/ip协议•pvmjob提交pvm作业使用gm协议•pvmjob_tcp提交pvm作业使用tcp/ip协议bsub“prognameinputfileoutputfile”bsub-n占用结点数“job属性prognameinputfileoutputfile”Job属性:mpijobpvmjobmpijob_tcppvmjob_tcp•bsub提交串行和并行作业