Guía de usuario del SCAD del CIMA

Elegir librerías a utilizar (Intel o GNU)

Por defecto no se cargan variables de entorno para los compiladores.

• Puedes listar las librerías disponibles y seleccionar la deseada ejecutando:

source /opt/load-libs.sh

• Tambien puede cargar las librerías deseadas desde un script agregando:

source /opt/load-libs.sh <N>   <--- Siendo <N> el numero de opción de las librerías deseadas

• Las librerías y modelos se encuentran instalados en:

/opt

• Dentro de cada directorio se encuentra la versión de la librería o modelo según el compilador utilizado. Por ejemplo:

/opt/wrf/WRF-4.3.2/intel

o

/opt/wrf/WRF-4.3.2/gnu

Para ejecutar un trabajo:

• En el archivo pbs elijo la cantidad de nodos y procesadores que quiero utilizar. Ejemplo para 8 nodos de 1 procesador cada uno:

#PBS -l nodes=8:ppn=1 
PROC_NO=8

• Otro ejemplo es elegir 3 nodos de dos procesadores cada uno:

#PBS -l nodes=3:ppn=2
PROC_NO=6

• Por último, debemos indicar que cola se usará. Actualmente hay sólo una cola (larga)

#PBS -q larga

• Una vez que esta todo modificado ejecutamos:

qsub corrida.pbs

• Para visualizar lo que ejecutamos y el estado:

qstat –n

• Para matar el trabajo que enviamos:

qdel <número de trabajo> (número de trabajo lo sabemos haciendo qstat –n)

• Config de un archivo PBS típico

## Job Name
#PBS -N nombreJob

## Novedades por mail
#PBS -m abe
#PBS -M <my.user>@cima.fcen.uba.ar

## Joins standard and Error outputs in a single file
#PBS -j oe

## Queue
#PBS -q larga

## resources
#PBS -l nodes=3:ppn=1

Scripts PBS

Para facilitar las cosas y poder empezar a simular, se creó un repositorio GIT para las scripts necesarias para simular con WRF.

Una vez conectados a hydra, sólo tienen que hacer:

 $ git clone https://git.cima.fcen.uba.ar/lluis.fita/hydra.git

Ahí les preguntará por usuarie / pwd (el mismo que el del correo)

Se creará un directorio llamado hydra.

En él encontrarán todas las scripts necesarias para simular en 'pbs/wrf/', contenido:

• launch_geogrid_intel.pbs: para lanzar en paralelo (sólo MPICH) el geogrid.exe compilado con intel y crear los dominios
• launch_metgrid_intel.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_real_intel.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_ungrib_intel.pbs: para lanzar el ungrib.exe compilado con intel
• launch_wrf_gnu_dmpar.pbs: para lanzar en paralelo (sólo MPICH) el wrf.exe compilado con gnu
• launch_wrf_intel_dmpar.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_wrf_intel_dm+sm.pbs: para lanzar en paralelo (híbrdio MPICH y openMP) el metgrid.exe compilado con intel

Yo recomendaría que en un directorio a parte crearan un directorio en donde lanzar las simulaciones con todos los directorios necesarios de WRF y los ficheros necesarios. Para cada componente copiarle su script pbs necearia. Antes de lanzar, tendrán que introducir su dirección de correo para poder recibir un mensaje cuando la script haya terminado.