Última revisión de 14:46 3 oct 2024

[editar] En papa

$ mkdir -p ~/sandbox/copy/
$ mkdir -p ~/sandbox/get/
$ sudo mkdir -p /datos/MOD/re-analysis/ECMWF/ERA5/monmean
$ sudo mv ~/sandbox/copy/ERA5_monmean_* /datos/MOD/re-analysis/ECMWF/ERA5/monmean/

Instalación para descargar datos del ECMWF via la API

$ sudo apt-get install python3-pip
$ sudo pip3 install ecmwf-api-client

Instalación para descagar datos de Copernicus via la cdstoolbox

$ sudo pip3 install cdstoolbox-remote

NOTA: Las cdstoolbox, utilizan un sistema de llaves (keys) para que la API funcione. En este caso, se utiliza la llave del usuario de Lluís Fita en Copernicus para descargar los datos

[editar] acceso restringido a datos

Los datos en el directorio /datos son accesibles por todos los usuaries. No obstante, hay bases de datos con acceso restringido por distintos motivos (confidencialidad, ética, ...).

En estos casos, el directorio que contiene los datos sólo es accesible a un determinado grupo de usuaries creado a propósito

Por ejemplo tenemos los datos datosABC de un proyecto llamado proy123 con los usuaries usuarieX,usuarieY,usarieZ.

1. retiro permiso lectura para todes les usuaries

# ls -l 
d-wxr-xr-x 2 root root 4096 Jul 16 11:14 datosABC
# chmod a-r datosABC
# ls -l 
d-wxr-x--x 2 root root 4096 Jul 16 11:14 datosABC

1. creación de un grupo nuevo de usuaries

# groupadd proy123

1. Assignando usuaries al nuevo grupo

# sudo usermod -aG proy123 usuarieX
# sudo usermod -aG proy123 usuarieY
# sudo usermod -aG proy123 usuarieZ

1. Información del grupo (descripción salida de getent, estructura [NombreGrupo]:[InfPWD]:[idGrupo]:[Usuarie1],...,[UsuarieN])

# getent group proy123
proy123:x:1234356:usuarieX,usuarieY,usuarieZ

1. atribuyendo propiedad del directorio al grupo

# chgrp -R proy123 datosABC
# ls -l
d-wxr-x--x 2 root proy123 4096 Jul 16 11:14 datosABC

Para que el usuarie de deimos tenga acceso de lectura a estos datos, hace falta que el grupo exista en Deimos (mirar en sección) con el mismo nombre y sobre todo el mismo [idGROUP].

Está por ver si hace falta crear el usuario de 'Deimos' en 'Papa' (con el mismo id que en Deimos)

# adduser --no-create-home --uid [uid_Deimos] --force-badname jupyter-usuarieX
# usermod -aG proy123 jupyter-usuarieX

[editar] En deimos

JupyterHub, tiene su propia instalación de python y por lo tanto de sus paquetes. Ver expliación acá

$ sudo su
# apt-get install git subversion
# apt-get install python3 python3-scipy python3-numpy cython3 cython3-dbg 
# apt-get install netcdf-bin libnetcdf-dev netcdf-doc libnetcdff-dev libnetcdff-doc libhdf5-dev 
  libhdf5-dev ncview cdo nco
# apt-get install dvipng python3-netcdf4
# apt-get install python3-matplotlib python3-matplotlib-dbg
# apt-get install python3-cartopy python-cartopy-data python3-mpltoolkits.basemap
# apt-get install firefox-esr firefox-esr-l10n-all
# apt-get install gfortran
# apt-get install imagemagick
# apt-get install gcc-multilib

El python the jupyterHub del usuario (?) es este /opt/tljh/user/bin/python3, por lo tanto, se tiene que instalar usando el pip de ese directorio

# /opt/tljh/user/bin/pip3 install numpy
# /opt/tljh/user/bin/pip3 install netcdf4
# /opt/tljh/user/bin/pip3 install matplotlib
# /opt/tljh/user/bin/conda install gcc
# apt-get install libgeos-dev
# /opt/tljh/user/bin/pip3 install cartopy

Está por ver, si les otres usuaries verán los paquetes. O cómo hacerlo desde un entorno?

[editar] JupyterHub (https://jupyter.org/hub)

[editar] Installing server (jupyter-server)

[editar] Kernels

El sistema jupyter se basa en notebooks / kernels para distintos lenguajes de programación.

[editar] Instalando un kernel de bash

En esta sección se cuentan los pasos seguidos para instalar un kernel de bash papa-deimos/BashKernelIns.

[editar] Instalando un kernel de R

Instalando R en deimos se cuentan en esta página papa-deimos/instalacion/RKernelIns.

sudo apt-get install r-base r-base-core r-base-core-dbg r-base-dev

Creando el irkernel en JupyerHub siguiendo estas instrucciones

[editar] Añadir usuaries

Todas las personas con cuenta en los recursos computacionales del CIMA, sólo tienen que pedir la apertura de la cuenta en el jupyterHub a Lluís Todas las personas del DCAO, tienen que pedir la apertura de la cuenta en el sistema y en el jupyterHub a Lluís

En deimos

# adduser -m [NombreUsuario]
# sudo passwd [NombreUsuario]

[editar] acceso restringido a datos

Después de la creación de un grupo de acceso restringido de datos en Papa, para que un usuario tenga acceso a los archivos, necesita que: 1. El mismo grupo exista en Deimos con el mismo nombre y id de grupo 1. El usuario de jupyter-[NombreUsuarie] esté asociado al grupo

Desde una ventana shell de jupyter, se obtieene:

ls DatosABC
ls: cannot open directory 'DatosABC': Permission denied

Agarramos el mismo grupo de ejemplo creado en Papa proy123, id grupo: 123456

1. Comprobamos grupos pre-existentes

# getent group | grep proy123

# getent group | grep 123456

NOTA: Si el id de grupo ya existe en 'Deimos', se tendrá que cambiar el id del grupo en 'Papa' (y actualizar todos los archivos asociados) con las instrucciones (siguiendo Stack Overflow)

# groupmod -g [nuevoIDgrupo] proy123
# find / -gid [viejoIDgrupo] ! -type l -exec chgrp [nuevoIDgrupo] {} \;

1. Creación del grupo

# groupadd -g 123456 proy123

1. Asignación de usuaries

# usermod -aG proy123 jupyter-usuarieX
# usermod -aG proy123 jupyter-usuarieY
# usermod -aG proy123 jupyter-usuarieZ

1. Verificación

# getent group proy123
proy123:x:123456:jupyter-usuarieX,jupyter-usuarieY,jupyter-usuarieZ

[editar] Nota acerca 'flavor' archivos netCDF

Los archivos netCDF pueden tener distintos savores ('flavours' del Inglés), estos son: NETCDF3_CLASSIC, NETCDF3_64BIT_OFFSET, NETCDF3_64BIT_DATA, NETCDF4_CLASSIC y NETCDF4

Si bien las herramientas directas de la librería (ej.: ncdump, nccopy, nccreate, ...) no tienen problemas en abrir los archivos, sí que podemos encontrar problemas con la librería de python netCDF4.

Al ejecutar una script desde el notebook, nos puede aparecer el siguiente mensaje de error:

(...)
OSError                                   Traceback (most recent call last)
Cell In [1], line 246
    244 ifile = 0
    245 dtprev = 0
--> 246 oplnc = NetCDFFile(expplfiles[0], 'r')
    247 oua = oplnc.variables['U_PL']
    248 ova = oplnc.variables['V_PL']

File src/netCDF4/_netCDF4.pyx:2470, in netCDF4._netCDF4.Dataset.__init__()

File src/netCDF4/_netCDF4.pyx:2107, in netCDF4._netCDF4._ensure_nc_success()

OSError: [Errno -101] NetCDF: HDF error: '/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00'

Pero el archivo existe y tiene el formato:

$ file /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00
/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00: Hierarchical 
  Data Format (version 5) data

Mientras que un archivo que netCDF4 no tiene problemas en abrir tiene el formato:

$ file /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc
/datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc: NetCDF Data Format data (64-bit offset)

Para poder cambiar el 'flavour' del archivo que da problemas, se puede utilizar la herramienta nccopy que viene como parte de los programas binarios de las liberarías netCDF (cómo el ncdump)

$ nccopy -k '64-bit offset' ./wrfout_d01_2024-04-15_00:00:00 ./wrfout_d01_2024-04-15_00:00:00.nc64

La extensión no es necesaria, sólo para poder crear un archivo nuevo

[editar] Añadir librerías/programario específico

En esta sección se detallan los pasos seguidos para instalar librerías y/o programario específico. Dichas librerías se tendrán que instalar para cada usuarie desde la sesión jupyter.

[editar] PyNCplot3

Librerías genéricas de Lluís Fita Borrell, CIMA PyNCplot

Des de una sesión bash del jupyterHUB:

git clone -b numpy20 https://git.cima.fcen.uba.ar/lluis.fita/pyncplot.git PyNCplot3
cd PyNCplot3
ln -s Makefile.deimos-jupyterHub ./Makefile
make all >& run_make.log
ls *so
module_ForDef.cpython-39-x86_64-linux-gnu.so
module_ForDiag.cpython-39-x86_64-linux-gnu.so
module_ForDistriCorrect.cpython-39-x86_64-linux-gnu.so
module_ForGen.cpython-39-x86_64-linux-gnu.so
module_ForInt.cpython-39-x86_64-linux-gnu.so
module_ForSci.cpython-39-x86_64-linux-gnu.so

Después desde un directorio de trabajo del estudio concreto (e.j. EstudioXY12) almacenado dentro del directrio estudios del home del usuario de jupyteHUB. Desde la misma notebook de bash

cd 
mkdir -p estudios/EstudioXY12
cd estudios/EstudioXY12
/home/jupyter-[usuario_JupyterHUB]/PyNCplot3/link_essentials_PWD.bash

Ahora ya se puede abrir un notebook the python en el directorio estudios/EstudioXY12 (aparecerá en el home del juyterHUB del usuario) y poder utilizar sin problemas las scripts de PyNCplot

[editar] ESMValTool

Herramientas para el análisis de datos CMIP. ESMValTool es una herramienta en python, abierta y desarrollada por la comunidad.

Los pasos para su instalación se detallan acá /ESMValToolInst.

El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del INSU - LEFE