Guía de usuario del SCAD del CIMA

Librerías y modelos disponibles

Por defecto no se cargan variables de entorno para los compiladores.

Elegir librerías a utilizar (Intel o GNU)

• Puedes listar las librerias disponibles y seleccionar la deseada ejecutando:

source /opt/load-libs.sh

• Tambien puedes cargar las librerías deseadas desde un script agregando:

source /opt/load-libs.sh [N]   <--- Siendo [N] el numero de opción de las librerías deseadas

Modelos pre compilados

• Las librerías y modelos se encuentran instalados en:

/opt

• Dentro de cada directorio se encuentra la versión de la librería o modelo según el compilador utilizado. Por ejemplo:

/opt/wrf/WRF-4.3.2/intel

o

/opt/wrf/WRF-4.3.2/gnu

• Para listar las versions de WRF disponibles y obtener su ubicación puedes ejecutar

wrf-path

Para ejecutar un trabajo:

• En el archivo pbs elijo la cantidad de nodos y procesadores que quiero utilizar. Ejemplo para 8 nodos de 1 procesador cada uno:

#PBS -l nodes=8:ppn=1 
PROC_NO=8

• Otro ejemplo es elegir 3 nodos de dos procesadores cada uno:

#PBS -l nodes=3:ppn=2
PROC_NO=6

• Por último, debemos indicar que cola se usará. Actualmente hay sólo una cola (larga)

#PBS -q larga

• Una vez que esta todo modificado ejecutamos:

qsub corrida.pbs

• Para visualizar lo que ejecutamos y el estado:

qstat –n

• Para matar el trabajo que enviamos:

qdel <número de trabajo> (número de trabajo lo sabemos haciendo qstat –n)

• Config de un archivo PBS típico

## Job Name
#PBS -N nombreJob

## Novedades por mail
#PBS -m abe
#PBS -M <my.user>@cima.fcen.uba.ar

## Joins standard and Error outputs in a single file
#PBS -j oe

## Queue
#PBS -q larga

## resources
#PBS -l nodes=3:ppn=1

Scripts PBS

Para facilitar las cosas y poder empezar a simular, se creó un repositorio GIT para las scripts necesarias para simular con WRF.

Una vez conectados a hydra, sólo tienen que hacer:

 $ git clone https://git.cima.fcen.uba.ar/lluis.fita/hydra.git

Ahí les preguntará por usuarie / pwd (el mismo que el del correo)

Se creará un directorio llamado hydra. En él encontrarán todas las scripts necesarias para simular

WRF

Scripts para WRF en 'pbs/wrf/', contenido:

• launch_geogrid_intel.pbs: para lanzar en paralelo (sólo MPICH) el geogrid.exe compilado con intel y crear los dominios
• launch_metgrid_intel.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_real_intel.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_ungrib_intel.pbs: para lanzar el ungrib.exe compilado con intel
• launch_wrf_gnu_dmpar.pbs: para lanzar en paralelo (sólo MPICH) el wrf.exe compilado con gnu
• launch_wrf_intel_dmpar.pbs: para lanzar en paralelo (sólo MPICH) el metgrid.exe compilado con intel
• launch_wrf_intel_dm+sm.pbs: para lanzar en paralelo (híbridio MPICH y openMP) el metgrid.exe compilado con intel

Yo recomendaría que en un directorio a parte crearan un directorio en donde lanzar las simulaciones con todos los directorios necesarios de WRF y los ficheros necesarios (están todos en /opt/wrf/[version_WRF]/[compilador]/[version_compilador]/[tipo_paralelizacion]/). Para cada componente copiarle su script pbs necearia. Antes de lanzar, tendrán que introducir su dirección de correo para poder recibir un mensaje cuando la script haya terminado.