测绘学院HPC使用说明

在使用集群系统前请仔细阅读以下文档。

服务操作系统:CENTOS 6.4 64bit


采用集群方式,集群软件为Slurm,有登录节点以及计算节点,登录节点用于用户登录并提交任务,任务提交后由系统分发到各计算节点运行。
登录节点:
172.16.255.100


计算节点分区:
intel:node1-node7
其中node1-node3为Intel双路8核心服务器,node4-node7为intel双路10核心服务器,分区总CPU核心数:3*2*8+4*2*10=128核心
amd:node8-node10
node8-node10为amd四路16核服务器,分区总核心数为:3*4*16=192核心


编译器:

系统安装了Inte的icc及ifort编译器,路径为:source /homes/opt/intel/,使用时,添加如下到环境变量文件(如~/bash_profile):


任务提交:

1、交互式提交
$srun -p [intel|amd] program options 例如:

-p:指定的计算分区,缺省为amd
program:需要提交的可执行程序或脚本
options:程序参数
可以在命令末尾加上 & ,至后台运行
注:交互式提交需启动登录节点进程,当终端退出时,任务也会退出。交互式提交适用于需要有用户交互的场合以及小规模的任务提交

2、批处理提交
使用批处理方式提交时,需要编写批处理脚本,批处理脚本格式如下:

假设上面脚本保存为:example.sbatch,则通过如下命令进行批处理提交:

sbatch 任务提交后便进程退出,任务自动提交至队列运行,运行结束后会在运行目录默认生成slurm-jobid.out文件,为运行程序的输出重定向文件。

mpi程序提交:
系统已经安装了openmpi程序,位于 /homes/Software/openmpi-1.8.4/,使用时需加入环境变量到启动脚本,如使用bash,则加入以下两行至~/bash_profile:

编写如下的sbatch脚本:


查看可用节点数、空闲节点数、以及正在运行的任务占用的资源


队列查看:

任务提交后根据squeue可以查看任务具体在哪些节点运行,然后可以ssh登录到具体节点查看运行详细信息,如:

注:只有在有任务运行在该节点时才能ssh到该节点,并且任务结束时,ssh通道强制退出,请勿直接在节点上运行命令。


任务取消:


任务详细信息查看:


集群信息查看:

登录软件:
Windows环境:
putty(点击下载
xmanager下载  安装使用视频
Mac 环境:
直接使用系统ssh 或X11 登录节点:ssh 172.16.255.100

使用注意事项:
1、登录之后使用 yppasswd 更改用户密码。
2、每用户的每次提交的任务总CPU数量不要超过16个。
3、文件空间有使用限制,一般用户空间限额数量为:1TB,文件限额数量为:1000000个,超出使用数量将不能写磁盘。使用  lfs quota  -v /homes  查看自己配额。
4、学生用户目前只能使用amd分区