papa-deimos/instalacion

En papa

$ mkdir -p ~/sandbox/copy/
$ mkdir -p ~/sandbox/get/
$ sudo mkdir -p /datos/MOD/re-analysis/ECMWF/ERA5/monmean
$ sudo mv ~/sandbox/copy/ERA5_monmean_* /datos/MOD/re-analysis/ECMWF/ERA5/monmean/

Instalación para descargar datos del ECMWF via la API

$ sudo apt-get install python3-pip
$ sudo pip3 install ecmwf-api-client

Instalación para descagar datos de Copernicus via la cdstoolbox

$ sudo pip3 install cdstoolbox-remote

NOTA: Las cdstoolbox, utilizan un sistema de llaves (keys) para que la API funcione. En este caso, se utiliza la llave del usuario de Lluís Fita en Copernicus para descargar los datos

acceso restringido

Los datos en el directorio /datos son accesibles por todos los usuaries. No obstante, hay bases de datos con acceso restringido por distintos motivos (confidencialidad, ética, ...).

En estos casos, el directorio que contiene los datos sólo es accesible a un determinado grupo de usuaries creado a propósito

Por ejemplo tenemos los datos datosABC de un proyecto llamado proy123 con los usuaries usuarieX,usuarieY,usarieZ.

1. retiro permiso lectura para todes les usuaries

# ls -l 
d-wxr-xr-x 2 root root 4096 Jul 16 11:14 datosABC
# chmod a-r datosABC
# ls -l 
d-wxr-x--x 2 root root 4096 Jul 16 11:14 datosABC

1. creación de un grupo nuevo de usuaries

# groupadd proy123

1. Assignando usuaries al nuevo grupo

# sudo usermod -aG proy123 usuarieX
# sudo usermod -aG proy123 usuarieY
# sudo usermod -aG proy123 usuarieZ

1. atribuyendo propiedad del directorio al grupo

# chgrp -R proy123 datosABC
# ls -l
d-wxr-x--x 2 root proy123 4096 Jul 16 11:14 datosABC

En deimos

JupyterHub, tiene su propia instalación de python y por lo tanto de sus paquetes. Ver expliación acá

$ sudo su
# apt-get install git subversion
# apt-get install python3 python3-scipy python3-numpy cython3 cython3-dbg 
# apt-get install netcdf-bin libnetcdf-dev netcdf-doc libnetcdff-dev libnetcdff-doc libhdf5-dev libhdf5-dev ncview cdo nco
# apt-get install dvipng python3-netcdf4
# apt-get install python3-matplotlib python3-matplotlib-dbg
# apt-get install python3-cartopy python-cartopy-data python3-mpltoolkits.basemap
# apt-get install firefox-esr firefox-esr-l10n-all
# apt-get install gfortran
# apt-get install imagemagick
# apt-get install gcc-multilib

El python the jupyterHub del usuario (?) es este /opt/tljh/user/bin/python3, por lo tanto, se tiene que instalar usando el pip de ese directorio

# /opt/tljh/user/bin/pip3 install numpy
# /opt/tljh/user/bin/pip3 install netcdf4
# /opt/tljh/user/bin/pip3 install matplotlib
# /opt/tljh/user/bin/conda install gcc
# apt-get install libgeos-dev
# /opt/tljh/user/bin/pip3 install cartopy

Está por ver, si les otres usuaries verán los paquetes. O cómo hacerlo desde un entorno?

Kernels

El sistema jupyter se basa en notebooks / kernels para distintos lenguajes de programación.

Instalando un kernel de bash

En esta sección se cuentan los pasos seguidos para instalar un kernel de bash papa-deimos/BashKernelIns.

Instalando un kernel de R

Instalando R en deimos se cuentan en esta página papa-deimos/instalacion/RKernelIns.

sudo apt-get install r-base r-base-core r-base-core-dbg r-base-dev

Creando el irkernel en JupyerHub siguiendo estas instrucciones

Añadir usuaries

Todas las personas con cuenta en los recursos computacionales del CIMA, sólo tienen que pedir la apertura de la cuenta en el jupyterHub a Lluís Todas las personas del DCAO, tienen que pedir la apertura de la cuenta en el sistema y en el jupyterHub a Lluís

En deimos

# adduser -m [NombreUsuario]
# sudo passwd [NombreUsuario]

El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del INSU - LEFE

Añadir librerías/programario específico

En esta sección se detallan los pasos seguidos para instalar librerías y/o programario específico. Dichas librerías se tendrán que instalar para cada usuarie desde la sesión jupyter.

PyNCplot3

Librerías genéricas de Lluís Fita Borrell, CIMA PyNCplot

Des de una sesión bash del jupyterHUB:

git clone https://git.cima.fcen.uba.ar/lluis.fita/pyncplot.git PyNCplot3
cd PyNCplot3
ln -s Makefile.deimos-jupyterHub ./Makefile
make all >& run_make.log
ls *so
module_ForDef.cpython-39-x86_64-linux-gnu.so
module_ForDiag.cpython-39-x86_64-linux-gnu.so
module_ForDistriCorrect.cpython-39-x86_64-linux-gnu.so
module_ForGen.cpython-39-x86_64-linux-gnu.so
module_ForInt.cpython-39-x86_64-linux-gnu.so
module_ForSci.cpython-39-x86_64-linux-gnu.so

Después desde un directorio de trabajo del estudio concreto (e.j. EstudioXY12) almacenado dentro del directrio estudios del home del usuario de jupyteHUB. Desde la misma notebook de bash

cd 
mkdir -p estudios/EstudioXY12
cd estudios/EstudioXY12
/home/jupyter-[usuario_JupyterHUB]/PyNCplot3/link_essentials_PWD.bash

Ahora ya se puede abrir un notebook the python en el directorio estudios/EstudioXY12 (aparecerá en el home del juyterHUB del usuario) y poder utilizar sin problemas las scripts de PyNCplot

ESMValTool

Herramientas para el análisis de datos CMIP. ESMValTool es una herramienta en python, abierta y desarrollada por la comunidad.

Los pasos para su instalación se detallan acá /ESMValToolInst.