集群机概述及linux系统使用

“探索100”集群机用户培训(1)——集群机概述及linux基本使用清华信息科学与技术国家实验室（筹）高性能计算平台培训内容系统环境介绍Linux常用命令Vi编辑器的使用环境变量设置Shell脚本的简介集群机的三大优势计算节点每个节点为一个独立的工作站/服务器节点配置：–两颗IntelXeonX5670六核处理器（2.93GHz，12MBCache）–370个节点32GB内存，370个节点48GB内存高速网络：InfiniBandQDR通信网络构成，理论带宽40Gb超大容量存储系统：存储容量：1000PB的存储容量文件系统读写效率:实测写带宽4GB/s系统部署示意图“探索100”百万亿次集群机共有740个计算节点，8880个处理器核系统的理论峰值浮点计算性能达到104TFlops存储总容量达1000TB“探索100”系统部署用户登录：校内用户访问ln0:166.111.143.18校外用户访问ln1:166.111.143.19严禁用户在登录节点编译及运行程序计算节点：共计740个：分37个刀片箱。测试节点：c01b02、c01b03（用户可以访问）计算节点：c01b08~c01b20,c02bxx~c37bxx（用户无法直接访问）登录方法：使用ssh相关协议软件访问机器sshc01b02/sshc01b03访问测试节点培训内容系统环境介绍Linux常用命令Vi编辑器的使用环境变量设置Shell脚本的简介目录操作ls:显示目录下所有文件及目录–ls–al/ll(注意隐藏文件)–在WORK目录及其子目录下，文件数较多时，请尽量不要使用ls，防止登录节点死机cd:从当前目录转移到指定目录–cdWORK–cd..–cd~（~代表/home/username）pwd:显示当前目录的绝对路径mkdir:创建子目录–mkdirtestrmdir:删除子目录−rmdirtest/rm–rftest文件操作touch:创建文件−touchaacp:复制文件–cpaaaa.bak(修改文件之前，养成备份的习惯)–cpaaWORK/–cp–rtestWORK(-r为目录拷贝)–cd/apps/course;cp-rcourse/~/mv:移动文件–mvaa./WORK/–mvaa.bakbbrm:删除文件–rmbb（不要在~使用rm–rf*,删除自家目录的隐藏文件）文件显示先进入course目录：cd~/linjiao/coursecat:显示文件/合并文件−catPOTCAR−catlist1list2list3more:分页显示文件–morePOTCARhead:显示文件头部−headPOTCAR−head-n20POTCARtail:显示文件尾部–tailPOTCAR–tail–n20POTCAR其他文件相关命令ln:创建连接文件(cdWORK/linjiao)–ln-s~/linjiao/course/runrun–ln–s~/linjiao/course/vasp.Hg/vasp.Hgdiff:比较文本文件(cd~/linjiao/course)–diffjobjob.bakgrep:文本搜索工具−grepmpi*.cfind:递归搜索目录下文件–find~-name*.txt–find~/-name*.txt–execrm{}\;(注意rm与{}与\都有空格,以;为结尾)正则表达式操作符名称操作符使用举例意义支持的工具析取|x|y|zx,y或者zawk,egrep任意字符./L..e/Love,Live,…所有工具字符串首字符^^x以字符x开始的串所有工具连接xyzxyz所有工具字符串尾字符$x$以字符x结束的串所有工具转义字符\\**sed,vi组合()或\(\)(xy)+xy,xyxy,…所有工具可选?xy?x,xyawk,egrep重复(零次或更多)*xy*x,xy,xyy,xyyy,…所有工具重复(一次或更多)+xy+xy,xyy,xyyy,…所有工具集合[][^][Hh]ello[^A-KM-Z]ovehelloLove,HelloLove所有工具正则表达式举例例四：任意一個字元.与重复字元*：grep-n'g..d'regular_express.txtgrep-n'ooo*'regular_express.txtgrep-n'goo*g'regular_express.txtgrep-n'g*g'regular_express.txtgrep-n'[0-9][0-9]*'regular_express.txt例五：限定连续字符范围{}grep-n'o\{2\}'regular_express.txtgrep-n'go\{2,5\}g'regular_express.txtgrep-n'go\{2,\}g'regular_express.txt例一：搜寻特定字串：grep-n'the'regular_express.txtgrep-vn'the'regular_express.txtgrep-in'the'regular_express.txt例二：利用[]來搜寻集合字元grep-n't[ae]st'regular_express.txtgrep-n'[^g]oo'regular_express.txtgrep-n'[0-9]'regular_express.txt例三：行首与行尾字元^$：grep-n'^the'regular_express.txtgrep-n'^[^a-zA-Z]'regular_express.txtgrep-n'\.$'regular_express.txt文件压缩与解压缩.tar解包：tarxvfFileName.tar打包：tarcvfFileName.tarDirName.gz解压1：gunzipFileName.gz解压2：gzip-dFileName.gz压缩：gzipFileName.tar.gz和.tgz解压：tarzxvfFileName.tar.gz压缩：tarzcvfFileName.tar.gzDirName.zip解压：unzipFileName.zip压缩：zipFileName.zipDirName.bz2解压1：bzip2-dFileName.bz2解压2：bunzip2FileName.bz2压缩：bzip2-zFileName.tar.bz2解压：tarjxvfFileName.tar.bz2压缩：tarjcvfFileName.tar.bz2DirName.Z解压：uncompressFileName.Z压缩：compressFileName.tar.Z解压：tarZxvfFileName.tar.Z压缩：tarZcvfFileName.tar.ZDirName重定向及管道符重定向:命令的输入、输出、错误信息可以利用文件的重定向功能重定向到其他文件：标准输入‐cathost:标准输出‐ls-l/aa:原有文件后面追加内容‐ls-alaa管道：一条命令的标准输出成为另外一条命令的标准输入ll|grepjobhistory|more系统操作echo:显示变量的值–echo$PATHps:用于查看当前系统中的活跃进程–ps–ef|grep-vrootkill:终止指定进程−kill1511history:显示历史指令记录内容,下达历史纪录中的指令−history10−!331which:在环境变量$PATH设置的目录里查找命令–whichlsdu：统计目录占磁盘空间大小（文件数多的情况下，使用du命令易死机）–du–smh./网络操作及其他ssh:登录远程主机−sshc01b02−sshlinjiao@c01b03scp:远程拷贝数据−scp-rcourselinjiao@c01b02:~/man:帮助命令–manlstop：动态观察程序的变化常用快捷操作ctrl+c:终止当前命令Tab键:命令补齐上下键培训内容系统环境介绍Linux常用命令Vi编辑器的使用环境变量设置Shell脚本的简介Vi简要使用流程创建文件job.sh使用vi[选项][文件..]命令打开要编辑的文件−vijob.sh按下i进入编辑模式编辑,输入文档#!/bin/bashdatejob.txt按Esc键退出编辑模式输入:w回车保存，再输入:q回车退出。或者直接输入:wq回车，代表保存并退出两种操作模式编辑模式：对文本进行编辑处理i:进入编辑模式−ls–aljob.txtEsc:退出编辑模式命令模式:接收按键指令执行操作，如复制、粘贴、搜索、替换、保存、另存为等移动光标搜索与替换删除(剪切)、复制与粘贴管理命令命令模式详解搜索与替换−/word:从光标处开始，向后搜索文本中出现word的字符串−:n1,n2s/word1/word2/g:在第n1行与第n2行之间搜索word1，并将其替换为word2删除(剪切)、复制与粘贴−x:x为向后删除一个字符−u:撤消上一操作−yy:复制光标所在行的内容−p:p为将复制或剪切的内容粘贴在光标下一行−dd:删除光标所在行管理命令−:num:跳到文件的某一行−:setnu:显示正文的行号。−:setnonu:取消行号。−:![命令]：暂时离开vi编辑器，并在shell中执行命令培训内容系统环境介绍Linux常用命令Vi编辑器的使用环境变量设置Shell脚本的环境变量两种变量:shell环境变量用户自定义变量环境变量的显示set,env,declare,typeset:显示所有shell变量环境变量设置位置/etc/profile:为每个用户设置的环境变量~/.bash_profile:用户登陆时读取的环境变量~/.bashrc:启动bash时读取环境变量设置显示环境变量echo$PATH$含义：变量的值设置环境变量exportPATH=/apps/mpi/mvapich-2.1.7a-intel11.1/bin:$PATH使用“:”分割路径，前后不要有空格“$PATH”一定要加，否则把原有环境覆盖系统根据路径设置顺序查找命令~/.bashrc启动bash时读取该文件，设置环境变量设置完成后，运行source~/.bashrc或重新启动bash才能使设置生效应用程序环境设置举例GromacsexportPATH=/apps/soft/gromacs/gromacs-4.5.4/bin:$PATHPython2.7(注意顺序)exportPATH=/apps/lib/python/Python-2.7.2/bin:$PATHG09exportg09root=/home/yugang/G09exportGAUSS_SCRDIR=/scratchsource$g09root/g09/bsd/g09.profile培训内容系统环境介绍Linux常用命令Vi编辑器的使用环境变量设置Shell脚本的简介Shell基本内容Shell脚本：一种程序设计语言组成要素变量:环境变量和用户自定义变量命令：linux基本命令流程控制：决定语句执行顺序函数：几个地方使用了相同的代码，可使用函数其他开头：#!/bin/sh注释：#开头的句子表示注释练习建立脚本job.sh编辑运行一个脚本−./job.shbash:./job.sh:Permissiondenied（没有可执行权限）−chmod+xjob.sh−./job.sh脚本格式：−unix2dosjob.sh−./job.sh-bash:./job.sh:/bin/sh^M:badinterpreter:Nosuchfileordirectory−cat-vjob.sh−dos2unixj