papa-deimos/instalacion
Contenido |
En papa
$ mkdir -p ~/sandbox/copy/ $ mkdir -p ~/sandbox/get/ $ sudo mkdir -p /datos/MOD/re-analysis/ECMWF/ERA5/monmean $ sudo mv ~/sandbox/copy/ERA5_monmean_* /datos/MOD/re-analysis/ECMWF/ERA5/monmean/
Instalación para descargar datos del ECMWF via la API
$ sudo apt-get install python3-pip $ sudo pip3 install ecmwf-api-client
Instalación para descagar datos de Copernicus via la cdstoolbox
$ sudo pip3 install cdstoolbox-remote
NOTA: Las cdstoolbox, utilizan un sistema de llaves (keys) para que la API funcione. En este caso, se utiliza la llave del usuario de Lluís Fita en Copernicus para descargar los datos
acceso restringido a datos
Los datos en el directorio /datos son accesibles por todos los usuaries. No obstante, hay bases de datos con acceso restringido por distintos motivos (confidencialidad, ética, ...).
En estos casos, el directorio que contiene los datos sólo es accesible a un determinado grupo de usuaries creado a propósito
Por ejemplo tenemos los datos datosABC de un proyecto llamado proy123 con los usuaries usuarieX,usuarieY,usarieZ.
1. retiro permiso lectura para todes les usuaries
# ls -l d-wxr-xr-x 2 root root 4096 Jul 16 11:14 datosABC # chmod a-r datosABC # ls -l d-wxr-x--x 2 root root 4096 Jul 16 11:14 datosABC
1. creación de un grupo nuevo de usuaries
# groupadd proy123
1. Assignando usuaries al nuevo grupo
# sudo usermod -aG proy123 usuarieX # sudo usermod -aG proy123 usuarieY # sudo usermod -aG proy123 usuarieZ
1. Información del grupo (descripción salida de getent, estructura [NombreGrupo]:[InfPWD]:[idGrupo]:[Usuarie1],...,[UsuarieN])
# getent group proy123 proy123:x:1234356:usuarieX,usuarieY,usuarieZ
1. atribuyendo propiedad del directorio al grupo
# chgrp -R proy123 datosABC # ls -l d-wxr-x--x 2 root proy123 4096 Jul 16 11:14 datosABC
Para que el usuarie de deimos tenga acceso de lectura a estos datos, hace falta que el grupo exista en Deimos (mirar en sección) con el mismo nombre y sobre todo el mismo [idGROUP].
En deimos
JupyterHub, tiene su propia instalación de python y por lo tanto de sus paquetes. Ver expliación acá
$ sudo su # apt-get install git subversion # apt-get install python3 python3-scipy python3-numpy cython3 cython3-dbg # apt-get install netcdf-bin libnetcdf-dev netcdf-doc libnetcdff-dev libnetcdff-doc libhdf5-dev libhdf5-dev ncview cdo nco # apt-get install dvipng python3-netcdf4 # apt-get install python3-matplotlib python3-matplotlib-dbg # apt-get install python3-cartopy python-cartopy-data python3-mpltoolkits.basemap # apt-get install firefox-esr firefox-esr-l10n-all # apt-get install gfortran # apt-get install imagemagick # apt-get install gcc-multilib
El python the jupyterHub del usuario (?) es este /opt/tljh/user/bin/python3, por lo tanto, se tiene que instalar usando el pip de ese directorio
# /opt/tljh/user/bin/pip3 install numpy # /opt/tljh/user/bin/pip3 install netcdf4 # /opt/tljh/user/bin/pip3 install matplotlib # /opt/tljh/user/bin/conda install gcc # apt-get install libgeos-dev # /opt/tljh/user/bin/pip3 install cartopy
Está por ver, si les otres usuaries verán los paquetes. O cómo hacerlo desde un entorno?
JupyterHub (https://jupyter.org/hub)
acceso restringido a datos
Después de la creación de un grupo de acceso restringido de datos en Papa, para que un usuario tenga acceso a los archivos, necesita que:
1. El mismo grupo exista en Deimos con el mismo nombre y id de grupo
1. El usuario de jupyter-[NombreUsuarie] esté asociado al grupo
Desde una ventana shell de jupyter, se obtieene:
ls DatosABC ls: cannot open directory 'DatosABC': Permission denied
Agarramos el mismo grupo de ejemplo creado en Papa DatosABC, id grupo: 123456
1. Comprobamos grupos pre-existentes
# getent group | grep DatosABC # getent group | grep 123456
NOTA: Si el id de grupo ya existe en 'Deimos', se tendrá que cambiar el id del grupo en 'Papa' (y actualizar todos los archivos asociados) con las instrucciones (siguiendo Stack Overflow)
# groupmod -g [nuevoIDgrupo] DatosABC
# find / -gid [viejoIDgrupo] ! -type l -exec chgrp [nuevoIDgrupo] {} \;
1. Creación del grupo
# groupadd -g 123456 DatosABC
1. Asignación de usuaries
# usermod -aG DatosABC jupyter-usuarieX # usermod -aG DatosABC jupyter-usuarieY # usermod -aG DatosABC jupyter-usuarieZ
1. Verificación
# getent group DatosABC DatosABC:x:123456:jupyter-usuarieX,jupyter-usuarieY,jupyter-usuarieZ
Installing server (jupyter-server)
Kernels
El sistema jupyter se basa en notebooks / kernels para distintos lenguajes de programación.
Instalando un kernel de bash
En esta sección se cuentan los pasos seguidos para instalar un kernel de bash papa-deimos/BashKernelIns.
Instalando un kernel de R
Instalando R en deimos se cuentan en esta página papa-deimos/instalacion/RKernelIns.
sudo apt-get install r-base r-base-core r-base-core-dbg r-base-dev
Creando el irkernel en JupyerHub siguiendo estas instrucciones
Añadir usuaries
Todas las personas con cuenta en los recursos computacionales del CIMA, sólo tienen que pedir la apertura de la cuenta en el jupyterHub a Lluís Todas las personas del DCAO, tienen que pedir la apertura de la cuenta en el sistema y en el jupyterHub a Lluís
En deimos
# adduser -m [NombreUsuario] # sudo passwd [NombreUsuario]
El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del INSU - LEFE
Nota acerca 'flavor' archivos netCDF
Los archivos netCDF pueden tener distintos savores ('flavours' del Inglés), estos son: NETCDF3_CLASSIC, NETCDF3_64BIT_OFFSET, NETCDF3_64BIT_DATA, NETCDF4_CLASSIC y NETCDF4
Si bien las herramientas directas de la librería (ej.: ncdump, nccopy, nccreate, ...) no tienen problemas en abrir los archivos, sí que podemos encontrar problemas con la librería de python netCDF4.
Al ejecutar una script desde el notebook, nos puede aparecer el siguiente mensaje de error:
(...)
OSError Traceback (most recent call last)
Cell In [1], line 246
244 ifile = 0
245 dtprev = 0
--> 246 oplnc = NetCDFFile(expplfiles[0], 'r')
247 oua = oplnc.variables['U_PL']
248 ova = oplnc.variables['V_PL']
File src/netCDF4/_netCDF4.pyx:2470, in netCDF4._netCDF4.Dataset.__init__()
File src/netCDF4/_netCDF4.pyx:2107, in netCDF4._netCDF4._ensure_nc_success()
OSError: [Errno -101] NetCDF: HDF error: '/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00'
Pero el archivo existe y tiene el formato:
$ file /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00 /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00: Hierarchical Data Format (version 5) data
Mientras que un archivo que netCDF4 no tiene problemas en abrir tiene el formato:
$ file /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc: NetCDF Data Format data (64-bit offset)
Para poder cambiar el 'flavour' del archivo que da problemas, se puede utilizar la herramienta nccopy que viene como parte de los programas binarios de las liberarías netCDF (cómo el ncdump)
$ nccopy -k '64-bit offset' ./wrfout_d01_2024-04-15_00:00:00 ./wrfout_d01_2024-04-15_00:00:00.nc64
La extensión no es necesaria, sólo para poder crear un archivo nuevo
Añadir librerías/programario específico
En esta sección se detallan los pasos seguidos para instalar librerías y/o programario específico. Dichas librerías se tendrán que instalar para cada usuarie desde la sesión jupyter.
PyNCplot3
Librerías genéricas de Lluís Fita Borrell, CIMA PyNCplot
Des de una sesión bash del jupyterHUB:
git clone -b numpy20 https://git.cima.fcen.uba.ar/lluis.fita/pyncplot.git PyNCplot3 cd PyNCplot3 ln -s Makefile.deimos-jupyterHub ./Makefile make all >& run_make.log ls *so module_ForDef.cpython-39-x86_64-linux-gnu.so module_ForDiag.cpython-39-x86_64-linux-gnu.so module_ForDistriCorrect.cpython-39-x86_64-linux-gnu.so module_ForGen.cpython-39-x86_64-linux-gnu.so module_ForInt.cpython-39-x86_64-linux-gnu.so module_ForSci.cpython-39-x86_64-linux-gnu.so
Después desde un directorio de trabajo del estudio concreto (e.j. EstudioXY12) almacenado dentro del directrio estudios del home del usuario de jupyteHUB. Desde la misma notebook de bash
cd mkdir -p estudios/EstudioXY12 cd estudios/EstudioXY12 /home/jupyter-[usuario_JupyterHUB]/PyNCplot3/link_essentials_PWD.bash
Ahora ya se puede abrir un notebook the python en el directorio estudios/EstudioXY12 (aparecerá en el home del juyterHUB del usuario) y poder utilizar sin problemas las scripts de PyNCplot
ESMValTool
Herramientas para el análisis de datos CMIP. ESMValTool es una herramienta en python, abierta y desarrollada por la comunidad.
Los pasos para su instalación se detallan acá /ESMValToolInst.
