papa-deimos/instalacion
Contenido |
En papa
$ mkdir -p ~/sandbox/copy/ $ mkdir -p ~/sandbox/get/ $ sudo mkdir -p /datos/MOD/re-analysis/ECMWF/ERA5/monmean $ sudo mv ~/sandbox/copy/ERA5_monmean_* /datos/MOD/re-analysis/ECMWF/ERA5/monmean/
Instalación para descargar datos del ECMWF via la API
$ sudo apt-get install python3-pip $ sudo pip3 install ecmwf-api-client
Instalación para descagar datos de Copernicus via la cdstoolbox
$ sudo pip3 install cdstoolbox-remote
NOTA: Las cdstoolbox, utilizan un sistema de llaves (keys) para que la API funcione. En este caso, se utiliza la llave del usuario de Lluís Fita en Copernicus para descargar los datos
acceso restringido a datos
Los datos en el directorio /datos son accesibles por todos los usuaries. No obstante, hay bases de datos con acceso restringido por distintos motivos (confidencialidad, ética, ...).
En estos casos, el directorio que contiene los datos sólo es accesible a un determinado grupo de usuaries creado a propósito
Por ejemplo tenemos los datos datosABC de un proyecto llamado proy123 con los usuaries usuarieX,usuarieY,usarieZ.
1. retiro permiso lectura para todes les usuaries
# ls -l d-wxr-xr-x 2 root root 4096 Jul 16 11:14 datosABC # chmod a-r datosABC # ls -l d-wxr-x--x 2 root root 4096 Jul 16 11:14 datosABC
1. creación de un grupo nuevo de usuaries
# groupadd proy123
1. Assignando usuaries al nuevo grupo
# sudo usermod -aG proy123 usuarieX # sudo usermod -aG proy123 usuarieY # sudo usermod -aG proy123 usuarieZ
1. Información del grupo (descripción salida de getent, estructura [NombreGrupo]:[InfPWD]:[idGrupo]:[Usuarie1],...,[UsuarieN])
# getent group proy123 proy123:x:1234356:usuarieX,usuarieY,usuarieZ
1. atribuyendo propiedad del directorio al grupo
# chgrp -R proy123 datosABC # ls -l d-wxr-x--x 2 root proy123 4096 Jul 16 11:14 datosABC
Para que el usuarie de deimos tenga acceso de lectura a estos datos, hace falta que el grupo exista en Deimos (mirar en sección) con el mismo nombre y sobre todo el mismo [idGROUP].
Está por ver si hace falta crear el usuario de 'Deimos' en 'Papa' (con el mismo id que en Deimos)
# adduser --no-create-home --uid [uid_Deimos] --force-badname jupyter-usuarieX # usermod -aG proy123 jupyter-usuarieX
En deimos
JupyterHub, tiene su propia instalación de python y por lo tanto de sus paquetes. Ver expliación acá
$ sudo su # apt-get install git subversion # apt-get install python3 python3-scipy python3-numpy cython3 cython3-dbg # apt-get install netcdf-bin libnetcdf-dev netcdf-doc libnetcdff-dev libnetcdff-doc libhdf5-dev libhdf5-dev ncview cdo nco # apt-get install dvipng python3-netcdf4 # apt-get install python3-matplotlib python3-matplotlib-dbg # apt-get install python3-cartopy python-cartopy-data python3-mpltoolkits.basemap # apt-get install firefox-esr firefox-esr-l10n-all # apt-get install gfortran # apt-get install imagemagick # apt-get install gcc-multilib
El python the jupyterHub del usuario (?) es este /opt/tljh/user/bin/python3, por lo tanto, se tiene que instalar usando el pip de ese directorio
# /opt/tljh/user/bin/pip3 install numpy # /opt/tljh/user/bin/pip3 install netcdf4 # /opt/tljh/user/bin/pip3 install matplotlib # /opt/tljh/user/bin/conda install gcc # apt-get install libgeos-dev # /opt/tljh/user/bin/pip3 install cartopy
Está por ver, si les otres usuaries verán los paquetes. O cómo hacerlo desde un entorno?
JupyterHub (https://jupyter.org/hub)
Installing server (jupyter-server)
Kernels
El sistema jupyter se basa en notebooks / kernels para distintos lenguajes de programación.
Instalando un kernel de bash
En esta sección se cuentan los pasos seguidos para instalar un kernel de bash papa-deimos/BashKernelIns.
Instalando un kernel de R
Instalando R en deimos se cuentan en esta página papa-deimos/instalacion/RKernelIns.
sudo apt-get install r-base r-base-core r-base-core-dbg r-base-dev
Creando el irkernel en JupyerHub siguiendo estas instrucciones
Añadir usuaries
Todas las personas con cuenta en los recursos computacionales del CIMA, sólo tienen que pedir la apertura de la cuenta en el jupyterHub a Lluís Todas las personas del DCAO, tienen que pedir la apertura de la cuenta en el sistema y en el jupyterHub a Lluís
En deimos
# useradd -MN [NombreUsuario] # sudo passwd [NombreUsuario]
Desde jupyterHUB activar la cuenta del nueve usuarie
acceso restringido a datos
Después de la creación de un grupo de acceso restringido de datos en Papa, para que un usuario tenga acceso a los archivos, necesita que:
1. El mismo grupo exista en Deimos con el mismo nombre y id de grupo
1. El usuario de jupyter-[NombreUsuarie] esté asociado al grupo
Desde una ventana shell de jupyter, se obtieene:
ls DatosABC ls: cannot open directory 'DatosABC': Permission denied
Agarramos el mismo grupo de ejemplo creado en Papa proy123, id grupo: 123456
1. Comprobamos grupos pre-existentes
# getent group | grep proy123 # getent group | grep 123456
NOTA: Si el id de grupo ya existe en 'Deimos', se tendrá que cambiar el id del grupo en 'Papa' (y actualizar todos los archivos asociados) con las instrucciones (siguiendo Stack Overflow)
# groupmod -g [nuevoIDgrupo] proy123
# find / -gid [viejoIDgrupo] ! -type l -exec chgrp [nuevoIDgrupo] {} \;
1. Creación del grupo
# groupadd -g 123456 proy123
1. Asignación de usuaries
# usermod -aG proy123 jupyter-usuarieX # usermod -aG proy123 jupyter-usuarieY # usermod -aG proy123 jupyter-usuarieZ
1. Verificación
# getent group proy123 proy123:x:123456:jupyter-usuarieX,jupyter-usuarieY,jupyter-usuarieZ
Nota acerca 'flavor' archivos netCDF
Los archivos netCDF pueden tener distintos savores ('flavours' del Inglés), estos son: NETCDF3_CLASSIC, NETCDF3_64BIT_OFFSET, NETCDF3_64BIT_DATA, NETCDF4_CLASSIC y NETCDF4
Si bien las herramientas directas de la librería (ej.: ncdump, nccopy, nccreate, ...) no tienen problemas en abrir los archivos, sí que podemos encontrar problemas con la librería de python netCDF4.
Al ejecutar una script desde el notebook, nos puede aparecer el siguiente mensaje de error:
(...)
OSError Traceback (most recent call last)
Cell In [1], line 246
244 ifile = 0
245 dtprev = 0
--> 246 oplnc = NetCDFFile(expplfiles[0], 'r')
247 oua = oplnc.variables['U_PL']
248 ova = oplnc.variables['V_PL']
File src/netCDF4/_netCDF4.pyx:2470, in netCDF4._netCDF4.Dataset.__init__()
File src/netCDF4/_netCDF4.pyx:2107, in netCDF4._netCDF4._ensure_nc_success()
OSError: [Errno -101] NetCDF: HDF error: '/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00'
Pero el archivo existe y tiene el formato:
$ file /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00 /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00: Hierarchical Data Format (version 5) data
Mientras que un archivo que netCDF4 no tiene problemas en abrir tiene el formato:
$ file /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc: NetCDF Data Format data (64-bit offset)
Para poder cambiar el 'flavour' del archivo que da problemas, se puede utilizar la herramienta nccopy que viene como parte de los programas binarios de las liberarías netCDF (cómo el ncdump)
$ nccopy -k '64-bit offset' ./wrfout_d01_2024-04-15_00:00:00 ./wrfout_d01_2024-04-15_00:00:00.nc64
La extensión no es necesaria, sólo para poder crear un archivo nuevo
Añadir librerías/programario específico
En esta sección se detallan los pasos seguidos para instalar librerías y/o programario específico. Dichas librerías se tendrán que instalar para cada usuarie desde la sesión jupyter.
PyNCplot3
Librerías genéricas de Lluís Fita Borrell, CIMA PyNCplot
Des de una sesión bash del jupyterHUB:
git clone -b numpy20 https://git.cima.fcen.uba.ar/lluis.fita/pyncplot.git PyNCplot3 cd PyNCplot3 ln -s Makefile.deimos-jupyterHub ./Makefile make all >& run_make.log ls *so module_ForDef.cpython-39-x86_64-linux-gnu.so module_ForDiag.cpython-39-x86_64-linux-gnu.so module_ForDistriCorrect.cpython-39-x86_64-linux-gnu.so module_ForGen.cpython-39-x86_64-linux-gnu.so module_ForInt.cpython-39-x86_64-linux-gnu.so module_ForSci.cpython-39-x86_64-linux-gnu.so
Después desde un directorio de trabajo del estudio concreto (e.j. EstudioXY12) almacenado dentro del directrio estudios del home del usuario de jupyteHUB. Desde la misma notebook de bash
cd mkdir -p estudios/EstudioXY12 cd estudios/EstudioXY12 /home/jupyter-[usuario_JupyterHUB]/PyNCplot3/link_essentials_PWD.bash
Ahora ya se puede abrir un notebook the python en el directorio estudios/EstudioXY12 (aparecerá en el home del juyterHUB del usuario) y poder utilizar sin problemas las scripts de PyNCplot
Digital Earths - Global Hackathon
En la semana del 13 al 16 de Mayo aconteció el la Digital Earths - Global Hackathon en la cuál el CIMA/IFAECI participó con la organización de un nodo en CABA. Para esa actividad fue necesaria la instalación de un entorno de python el cuál se hizo accesible para todes les usuaries de Deimos. Estos son los pasos seguidos:
First download the Hachkathon's repository as root in /opt/onda/mamba/DE-global_hackathon<CODE> (as root)
# git clone https://github.com/digital-earths-global-hackathon/tools.git
Go to directory with installation and make a copy for <CODE>deimos and edit the prefix
# cd tools/python_envs
# cp install_python install_python_deimos
diff install_python install_python_orig install_python install_python_orig
4c4,5
< prefix=${prefix:-$HOME/python_envs}
---
> #prefix=${prefix:-$HOME/python_envs}
> prefix=/opt/conda/mamba/DE-global_hackathon
./install_python_deimos
```
We got the right installation
<PRE style="shell">
ls /opt/conda/mamba/DE-global_hackathon/
miniconda3 tools
Registering the new kernel jupyerhub-doc and multiple-kernels
# /opt/tljh/user/bin/jupyter kernelspec list Available kernels: python3 /opt/tljh/user/share/jupyter/kernels/python3 bash /usr/local/share/jupyter/kernels/bash ir /usr/local/share/jupyter/kernels/ir python_conda_su /usr/local/share/jupyter/kernels/python_conda_su # /opt/tljh/user/bin/jupyter-kernelspec remove python_conda_su Kernel specs to remove: python_conda_su /usr/local/share/jupyter/kernels/python_conda_su Remove 1 kernel specs [y/N]: y # /opt/tljh/user/bin/jupyter-kernelspec list Available kernels: python3 /opt/tljh/user/share/jupyter/kernels/python3 bash /usr/local/share/jupyter/kernels/bash ir /usr/local/share/jupyter/kernels/ir # /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba install ipykernel # /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy/bin/python3 -m ipykernel install Installed kernelspec python3 in /usr/local/share/jupyter/kernels/python3 # /opt/tljh/user/bin/jupyter-kernelspec install /usr/local/share/jupyter/kernels/python3 --name=python_DigEarth-Hack [InstallKernelSpec] Installed kernelspec python_digearth-hack in /usr/local/share/jupyter/kernels/python_digearth-hack # /opt/tljh/user/bin/jupyter-kernelspec list Available kernels: python3 /opt/tljh/user/share/jupyter/kernels/python3 bash /usr/local/share/jupyter/kernels/bash ir /usr/local/share/jupyter/kernels/ir python_digearth-hack /usr/local/share/jupyter/kernels/python_digearth-hack
Editing kernel name to be recognizible in jupyterHUB api and set-up environment (see stackoverflow)
# vim /usr/local/share/jupyter/kernels/python_digearth-hack/kernel.json
"display_name": "Python 3 (D.E. Hachkathon)",
"env": {
"MAMBA_PREFIX":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy",
"MAMBA_DEFAULT_ENV":"easy",
"PATH":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy/bin:/opt/conda/mamba/DE-global_hackathon/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
},
Adding new packages/libraries to an existing environment
To add new libraries, using mamba (preferred way)
# /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba install -n easy pyflextrkr
Via pip
# cd /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy # bin/pip3 install healpy
ATRACKCS
El ATRACKCS Esta herramienta está diseñada para realizar seguimientos de sistemas atmosféricos. Estos son los pasos seguidos para su instalación en Deimos
Creando el enclave del paquete
# cd /opt/conda/mamba/ # mkdir ATRACKCS # cd ATRACKCS
Agarrando el software y preparando la instalación via la creación de un nuevo entorno de python
# git clone https://github.com/alramirezca/ATRACKCS # cd ATRACKCS # /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba env create -f env_py3.yml
Activación del entorno y terminar la instalación
# eval "$(/opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba shell hook --shell bash)" (base) # mamba activate atrackcs_py3 (atrackcs_py3) # pip install -e .
Registrando el nuevo kernel para deimos:
(atrackcs_py3) # pip3 install ipykernel (atrackcs_py3) # mamba deactivate (base) # mamba deactivate # /opt/tljh/user/bin/jupyter kernelspec list Available kernels: python3 /opt/tljh/user/share/jupyter/kernels/python3 bash /usr/local/share/jupyter/kernels/bash ir /usr/local/share/jupyter/kernels/ir python_digearth-hack /usr/local/share/jupyter/kernels/python_digearth-hack # /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3/bin/python3 -m ipykernel install # /opt/tljh/user/bin/jupyter-kernelspec install /usr/local/share/jupyter/kernels/python3 --name=python_atrackcs # /opt/tljh/user/bin/jupyter-kernelspec list Available kernels: python3 /opt/tljh/user/share/jupyter/kernels/python3 bash /usr/local/share/jupyter/kernels/bash ir /usr/local/share/jupyter/kernels/ir python_atrackcs /usr/local/share/jupyter/kernels/python_atrackcs python_digearth-hack /usr/local/share/jupyter/kernels/python_digearth-hack
Editando el nombre del kernel para identificarlo desde deimos:
# vim /usr/local/share/jupyter/kernels/python_atrackcs/kernel.json
"display_name": "Python 3 (atrackcs)",
"env": {
"MAMBA_PREFIX":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3",
"MAMBA_DEFAULT_ENV":"atrackcs_py3",
"PATH":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3/bin:/opt/conda/mamba/DE-global_hackathon/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
},
ESMValTool
Herramientas para el análisis de datos CMIP. ESMValTool es una herramienta en python, abierta y desarrollada por la comunidad.
Los pasos para su instalación se detallan acá /ESMValToolInst.
El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del INSU - LEFE
