Ver el código de «papa-deimos/instalacion»

= En papa =
<pre style="shell">
$ mkdir -p ~/sandbox/copy/
$ mkdir -p ~/sandbox/get/
$ sudo mkdir -p /datos/MOD/re-analysis/ECMWF/ERA5/monmean
$ sudo mv ~/sandbox/copy/ERA5_monmean_* /datos/MOD/re-analysis/ECMWF/ERA5/monmean/
</pre>

Instalación para descargar datos del ECMWF via la [https://confluence.ecmwf.int/display/WEBAPI/Access+ECMWF+Public+Datasets API]
<pre style="shell">
$ sudo apt-get install python3-pip
$ sudo pip3 install ecmwf-api-client
</pre>

Instalación para descagar datos de [https://www.copernicus.eu/es Copernicus] via la [https://pypi.org/project/cdstoolbox-remote/ cdstoolbox]
<pre  style="shell">
$ sudo pip3 install cdstoolbox-remote
</pre>

'''NOTA:''' Las cdstoolbox, utilizan un sistema de llaves (keys) para que la API funcione. En este caso, se utiliza la llave del usuario de Lluís Fita en Copernicus para descargar los datos

== acceso restringido a datos ==
Los datos en el directorio <code>/datos</code> son accesibles por todos los usuaries. No obstante, hay bases de datos con acceso restringido por distintos motivos (confidencialidad, ética, ...).

En estos casos, el directorio que contiene los datos sólo es accesible a un determinado grupo de usuaries creado a propósito

Por ejemplo tenemos los datos <code>datosABC</code> de un proyecto llamado <code>proy123</code> con los usuaries <code>usuarieX,usuarieY,usarieZ</code>. 

1. retiro permiso lectura para todes les usuaries
<pre style="shell">
# ls -l 
d-wxr-xr-x 2 root root 4096 Jul 16 11:14 datosABC
# chmod a-r datosABC
# ls -l 
d-wxr-x--x 2 root root 4096 Jul 16 11:14 datosABC
</pre>
1. creación de un grupo nuevo de usuaries
<pre style="shell">
# groupadd proy123
</pre>
1. Assignando usuaries al nuevo grupo
<pre style="shell">
# sudo usermod -aG proy123 usuarieX
# sudo usermod -aG proy123 usuarieY
# sudo usermod -aG proy123 usuarieZ
</pre>
1. Información del grupo (descripción salida de [https://askubuntu.com/questions/811513/output-of-getent-group getent],  estructura <code>[NombreGrupo]:[InfPWD]:[idGrupo]:[Usuarie1],...,[UsuarieN]</code>)
<pre style="shell">
# getent group proy123
proy123:x:1234356:usuarieX,usuarieY,usuarieZ
</pre>
1. atribuyendo propiedad del directorio al grupo
<pre style="shell">
# chgrp -R proy123 datosABC
# ls -l
d-wxr-x--x 2 root proy123 4096 Jul 16 11:14 datosABC
</pre>
Para que el usuarie de deimos tenga acceso de lectura a estos datos, hace falta que el grupo exista en Deimos (mirar en sección) con el mismo nombre y sobre todo el mismo <code>[idGROUP]</code>.

Está por ver si hace falta crear el usuario de 'Deimos' en 'Papa' (con el mismo id que en Deimos)
<pre style="shell">
# adduser --no-create-home --uid [uid_Deimos] --force-badname jupyter-usuarieX
# usermod -aG proy123 jupyter-usuarieX
</pre>

=== Instalación de Copernicus Marine ===
Se instala la API para la descarga de los datos de re-análisis oceánico [[https://data.marine.copernicus.eu/product/GLOBAL_MULTIYEAR_PHY_001_030/description Glorys]] (Global Ocean Physics Reanalysis).

Para eso se necesita descargar la [[https://help.marine.copernicus.eu/en/articles/8283072-copernicus-marine-toolbox-api-subset?pk_vid=bf67505d32a0a3bc177945295018e698 copernicusmarine API]] que se detalla a continuación

==== instalación ====
Se recomienda utilizar un entorno de python, así que se hará de ese modo

Creando el directorio e instalando los paquetes
<pre style="shell">
# /opt/python_envs
# python3 -m venv /opt/python_envs/copernicusmarine
# cd /opt/python_envs/copernicusmarine
# source bin/activate
(copernicusmarine) # python -m pip install copernicusmarine
(copernicusmarine) # copernicusmarine --help
Usage: copernicusmarine [OPTIONS] COMMAND [ARGS]...

Options:
  -V, --version  Show the version and exit.
  -h, --help     Show this message and exit.

Commands:
  describe  Print products metadata of Copernicus Marine catalogue as
            JSON.
  get       Download originally produced data files.
  login     Create a configuration file with your Copernicus Marine
            credentials.
  subset    Download subsets of datasets as NetCDF files or Zarr
            stores.
(copernicusmarine) # deactivate 
#
</pre>

Para descargar datos hará falta activar el entorno y ejecutar la script adecuada:
<pre style="shell">
# source /opt/python_envs/copernicusmarine/bin/activate
(copernicusmarine) # copernicusmarine login
INFO - 2026-05-22T14:23:02Z - Downloading Copernicus Marine data requires a Copernicus Marine username and password, sign up for free at: https://data.marine.copernicus.eu/register
Copernicus Marine username: lfitaborrell
Copernicus Marine password: 
INFO - 2026-05-22T14:23:23Z - Credentials file stored in /root/.copernicusmarine/.copernicusmarine-credentials.
(copernicusmarine) # 
</pre>

= En deimos =

JupyterHub, tiene su propia instalación de python y por lo tanto de sus paquetes. Ver expliación [https://jakevdp.github.io/blog/2017/12/05/installing-python-packages-from-jupyter/ acá]

<pre style="shell">
$ sudo su
# apt-get install git subversion
# apt-get install python3 python3-scipy python3-numpy cython3 cython3-dbg 
# apt-get install netcdf-bin libnetcdf-dev netcdf-doc libnetcdff-dev libnetcdff-doc libhdf5-dev 
  libhdf5-dev ncview cdo nco
# apt-get install dvipng python3-netcdf4
# apt-get install python3-matplotlib python3-matplotlib-dbg
# apt-get install python3-cartopy python-cartopy-data python3-mpltoolkits.basemap
# apt-get install firefox-esr firefox-esr-l10n-all
# apt-get install gfortran
# apt-get install imagemagick
# apt-get install gcc-multilib
</pre>

El python the jupyterHub del usuario (?) es este <code>/opt/tljh/user/bin/python3</code>, por lo tanto, se tiene que instalar usando el <code>pip</code> de ese directorio
<pre sryle="shell">
# /opt/tljh/user/bin/pip3 install numpy
# /opt/tljh/user/bin/pip3 install netcdf4
# /opt/tljh/user/bin/pip3 install matplotlib
# /opt/tljh/user/bin/conda install gcc
# apt-get install libgeos-dev
# /opt/tljh/user/bin/pip3 install cartopy
</pre>

Está por ver, si les otres usuaries verán los paquetes. O cómo hacerlo desde un entorno?
== JupyterHub ([https://jupyter.org/hub https://jupyter.org/hub]) ==

=== Installing server ([https://jupyter.org/hub jupyter-server]) ===

== Kernels ==
El sistema jupyter se basa en notebooks / kernels para distintos lenguajes de programación.

=== Instalando un kernel de bash ===
En esta sección se cuentan los pasos seguidos para instalar un kernel de bash [[papa-deimos/BashKernelIns]].

=== Instalando un kernel de R ===
Instalando [https://www.r-project.org/ R] en deimos se cuentan en esta página [[papa-deimos/instalacion/RKernelIns]]. 
<pre style="shell">
sudo apt-get install r-base r-base-core r-base-core-dbg r-base-dev
</pre>

Creando el irkernel en JupyerHub siguiendo estas [https://irkernel.github.io/installation/ instrucciones]
<pre style="shell">

</pre>

== Añadir usuaries ==
Todas las personas con cuenta en los recursos computacionales del CIMA, sólo tienen que pedir la apertura de la cuenta en el jupyterHub a Lluís
Todas las personas del DCAO, tienen que pedir la apertura de la cuenta en el sistema y en el jupyterHub a Lluís

En deimos
<pre style="shell">
# useradd -MN [NombreUsuario]
# sudo passwd [NombreUsuario]
</pre>

<!-- For andamos
# groupadd -g 900001 andamos
# useradd -MN -g andamos andex.andamos
# passwd [pswd] andex.andamos

# groupadd -g 90002 guests
# useradd -MN -g guests clementine.junquas
# passwd [pwd] clementine.junquas
-->

Desde jupyterHUB activar la cuenta del nueve usuarie

== acceso restringido a datos ==
Para dar acceso restringido a datos se realiza a partir de la asiganción de grupos específicos a los datos. Sólo les usuaries que pertenezcan a dicho grupo, podrán acceder a ellos. Para eso
:
# <code>Papa</code> y <code>Deimos</code> tienen que tener el mismo grupo (nombre e ID)
# El directorio donde estén los datos, por lo menos tiene que tener permisos de ejecución para todes
<pre style="Shell">
# ls -l [Directorio]
drwxr-x--x 2 root [grupo] 4096 Jun 23 12:56 [Directorio]
</pre>
# Mientras que los archivos, sólo serán de lectura para el [grupo]
<pre style="shell">
# ls -l [Directorio]/[Archivo] 
-rwxr-x--- 1 root [grupo] 105817 Jun 23 11:48 [Directorio]/[Archivo]
</pre>

Después de la creación de un grupo de acceso restringido de datos en Papa, para que un usuario tenga acceso a los archivos, necesita que:

# El mismo grupo exista en Deimos con el mismo nombre y id de grupo
# El usuario de <code>jupyter-[NombreUsuarie]</code> esté asociado al grupo

Desde una ventana <code>shell</code> de jupyter, se obtieene:
<pre style="shell">
ls DatosABC
ls: cannot open directory 'DatosABC': Permission denied
</pre>

Agarramos el mismo grupo de ejemplo creado en Papa <code>proy123</code>, id grupo: 123456

1. Comprobamos grupos pre-existentes
<pre style="shell">
# getent group | grep proy123

# getent group | grep 123456

</pre>
'''NOTA:''' Si el id de grupo ya existe en 'Deimos', se tendrá que cambiar el id del grupo en 'Papa' (y actualizar todos los archivos asociados) con las instrucciones (siguiendo [https://unix.stackexchange.com/questions/33844/change-gid-of-a-specific-group Stack Overflow])
<pre style="shell">
# groupmod -g [nuevoIDgrupo] proy123
# find / -gid [viejoIDgrupo] ! -type l -exec chgrp [nuevoIDgrupo] {} \;
</pre>

1. Creación del grupo
<pre style="shell">
# groupadd -g 123456 proy123
</pre>

1. Asignación de usuaries
<pre style="shell">
# usermod -aG proy123 jupyter-usuarieX
# usermod -aG proy123 jupyter-usuarieY
# usermod -aG proy123 jupyter-usuarieZ
</pre>

1. Verificación
<pre style="shell">
# getent group proy123
proy123:x:123456:jupyter-usuarieX,jupyter-usuarieY,jupyter-usuarieZ
</pre>

== Nota acerca 'flavor' archivos netCDF ==
Los archivos netCDF pueden tener distintos savores ('flavours' del Inglés), estos son: NETCDF3_CLASSIC, NETCDF3_64BIT_OFFSET, NETCDF3_64BIT_DATA, NETCDF4_CLASSIC y NETCDF4

Si bien las herramientas directas de la librería (ej.: ncdump, nccopy, nccreate, ...) no tienen problemas en abrir los archivos, sí que podemos encontrar problemas con la librería de python <CODE>netCDF4</CODE>.

Al ejecutar una script desde el notebook, nos puede aparecer el siguiente mensaje de error:
<PRE>
(...)
OSError                                   Traceback (most recent call last)
Cell In [1], line 246
    244 ifile = 0
    245 dtprev = 0
--> 246 oplnc = NetCDFFile(expplfiles[0], 'r')
    247 oua = oplnc.variables['U_PL']
    248 ova = oplnc.variables['V_PL']

File src/netCDF4/_netCDF4.pyx:2470, in netCDF4._netCDF4.Dataset.__init__()

File src/netCDF4/_netCDF4.pyx:2107, in netCDF4._netCDF4._ensure_nc_success()

OSError: [Errno -101] NetCDF: HDF error: '/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00'
</PRE>

Pero el archivo existe y tiene el formato:
<PRE style="shell">
$ file /datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00
/datos/MOD/EXPS/Inundaciones_RioGrandeSoul/sims/control/wrfpress_d01_2024-04-15_00:00:00: Hierarchical 
  Data Format (version 5) data
</PRE>

Mientras que un archivo que <CODE>netCDF4</CODE> no tiene problemas en abrir tiene el formato:
<PRE style="shell">
$ file /datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc
/datos/MOD/analysis/ECMWF/ECMWF-AN_pl20240418-30.nc: NetCDF Data Format data (64-bit offset)
</PRE>

Para poder cambiar el 'flavour' del archivo que da problemas, se puede utilizar la herramienta <CODE>nccopy</CODE> que viene como parte de los programas binarios de las liberarías netCDF (cómo el <CODE>ncdump</CODE>)
<PRE style="shell">
$ nccopy -k '64-bit offset' ./wrfout_d01_2024-04-15_00:00:00 ./wrfout_d01_2024-04-15_00:00:00.nc64
</PRE>
La extensión no es necesaria, sólo para poder crear un archivo nuevo

== Añadir librerías/programario específico ==
En esta sección se detallan los pasos seguidos para instalar librerías y/o programario específico. Dichas librerías se tendrán que instalar para cada usuarie desde la sesión jupyter.

=== PyNCplot3 ===
Librerías genéricas de Lluís Fita Borrell, CIMA [https://git.cima.fcen.uba.ar/lluis.fita/pyncplot/-/wikis/home PyNCplot]

Des de una sesión <CODE>bash</CODE> del jupyterHUB:
<PRE style="Shell">
git clone -b numpy20 https://git.cima.fcen.uba.ar/lluis.fita/pyncplot.git PyNCplot3
cd PyNCplot3
ln -s Makefile.deimos-jupyterHub ./Makefile
make all >& run_make.log
ls *so
module_ForDef.cpython-39-x86_64-linux-gnu.so
module_ForDiag.cpython-39-x86_64-linux-gnu.so
module_ForDistriCorrect.cpython-39-x86_64-linux-gnu.so
module_ForGen.cpython-39-x86_64-linux-gnu.so
module_ForInt.cpython-39-x86_64-linux-gnu.so
module_ForSci.cpython-39-x86_64-linux-gnu.so
</PRE>
Después desde un directorio de trabajo del estudio concreto (e.j. <CODE>EstudioXY12</CODE>) almacenado dentro del  directrio <CODE>estudios</CODE> del home del usuario de jupyteHUB. Desde la misma notebook de <CODE>bash</CODE>
<PRE style="shell">
cd 
mkdir -p estudios/EstudioXY12
cd estudios/EstudioXY12
/home/jupyter-[usuario_JupyterHUB]/PyNCplot3/link_essentials_PWD.bash
</PRE>
Ahora ya se puede abrir un notebook the python en el directorio <CODE>estudios/EstudioXY12</CODE> (aparecerá en el home del juyterHUB del usuario) y poder utilizar sin problemas las scripts de PyNCplot

=== Digital Earths - Global Hackathon ===
En la semana del 13 al 16 de Mayo aconteció el la [https://www.wcrp-esmo.org/activities/wcrp-global-km-scale-hackathon-2025 Digital Earths - Global Hackathon] en la cuál el CIMA/IFAECI participó con la organización de un nodo en [https://git.cima.fcen.uba.ar/gvieytes/global-hackathon/-/wikis/home CABA]. Para esa actividad fue necesaria la instalación de un entorno de python el cuál se hizo accesible para todes les usuaries de Deimos. Estos son los pasos seguidos:

First download the Hachkathon's repository as root in <CODE>/opt/onda/mamba/DE-global_hackathon<CODE> (as root)
<PRE style="shell">
# git clone https://github.com/digital-earths-global-hackathon/tools.git
</PRE>

Go to directory with installation and make a copy for <CODE>deimos</CODE> and edit the prefix
<PRE style="shell">
# cd tools/python_envs
# cp install_python install_python_deimos
diff install_python install_python_orig install_python install_python_orig
4c4,5
< prefix=${prefix:-$HOME/python_envs}
---
> #prefix=${prefix:-$HOME/python_envs}
> prefix=/opt/conda/mamba/DE-global_hackathon
./install_python_deimos
```
We got the right installation
<PRE style="shell">
ls /opt/conda/mamba/DE-global_hackathon/
miniconda3  tools
</PRE>

Registering the new kernel [https://jupyterhub.readthedocs.io/en/stable/howto/configuration/config-user-env.html jupyerhub-doc] and [https://discourse.jupyter.org/t/add-multiple-python-kernels-like-3-6-x-and-3-7-x-to-jupyterhub/5458/3 multiple-kernels]
<PRE style="shell">
# /opt/tljh/user/bin/jupyter kernelspec list
Available kernels:
  python3            /opt/tljh/user/share/jupyter/kernels/python3
  bash               /usr/local/share/jupyter/kernels/bash
  ir                 /usr/local/share/jupyter/kernels/ir
  python_conda_su    /usr/local/share/jupyter/kernels/python_conda_su
# /opt/tljh/user/bin/jupyter-kernelspec remove python_conda_su
Kernel specs to remove:
  python_conda_su     	/usr/local/share/jupyter/kernels/python_conda_su
Remove 1 kernel specs [y/N]: y
# /opt/tljh/user/bin/jupyter-kernelspec list
Available kernels:
  python3    /opt/tljh/user/share/jupyter/kernels/python3
  bash       /usr/local/share/jupyter/kernels/bash
  ir         /usr/local/share/jupyter/kernels/ir
# /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba install ipykernel
# /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy/bin/python3 -m ipykernel install
Installed kernelspec python3 in /usr/local/share/jupyter/kernels/python3
# /opt/tljh/user/bin/jupyter-kernelspec install /usr/local/share/jupyter/kernels/python3 --name=python_DigEarth-Hack
[InstallKernelSpec] Installed kernelspec python_digearth-hack in /usr/local/share/jupyter/kernels/python_digearth-hack
# /opt/tljh/user/bin/jupyter-kernelspec list
Available kernels:
  python3                 /opt/tljh/user/share/jupyter/kernels/python3
  bash                    /usr/local/share/jupyter/kernels/bash
  ir                      /usr/local/share/jupyter/kernels/ir
  python_digearth-hack    /usr/local/share/jupyter/kernels/python_digearth-hack
</PRE>

Editing kernel name to be recognizible in jupyterHUB api and set-up environment (see [https://stackoverflow.com/questions/67914989/creating-virtual-environments-for-jupyterhub stackoverflow])
<PRE style="shell">
# vim /usr/local/share/jupyter/kernels/python_digearth-hack/kernel.json
"display_name": "Python 3 (D.E. Hachkathon)",
"env": {
  "MAMBA_PREFIX":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy",
  "MAMBA_DEFAULT_ENV":"easy",
  "PATH":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy/bin:/opt/conda/mamba/DE-global_hackathon/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
 },
</PRE>

==== Adding new packages/libraries to an existing environment ====

To add new libraries, using mamba (preferred way)
<PRE style="shell">
# /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba install -n easy pyflextrkr
</PRE>

Via pip
<PRE style="shell">
# cd /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/easy
# bin/pip3 install healpy
</PRE>

=== ATRACKCS ===
El [https://github.com/ATRACKCS/ATRACKCS ATRACKCS] Esta herramienta está diseñada para realizar seguimientos de sistemas atmosféricos. Estos son los pasos seguidos para su instalación en Deimos

Creando el enclave del paquete
<PRE style="sell">
# cd /opt/conda/mamba/
# mkdir ATRACKCS
# cd ATRACKCS
</PRE>

Agarrando el software y preparando la instalación via la creación de un nuevo entorno de python
<PRE style="shell">
# git clone https://github.com/alramirezca/ATRACKCS
# cd ATRACKCS
# /opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba env create -f env_py3.yml
</PRE>

Activación del entorno y terminar la instalación
<PRE style="shell">
# eval "$(/opt/conda/mamba/DE-global_hackathon/miniconda3/bin/mamba shell hook --shell bash)"
(base) # mamba activate atrackcs_py3
(atrackcs_py3) # pip install -e .
</PRE>

Registrando el nuevo kernel para deimos:
<PRE style="shell">
(atrackcs_py3) # pip3 install ipykernel
(atrackcs_py3) # mamba deactivate
(base) # mamba deactivate
# /opt/tljh/user/bin/jupyter kernelspec list
Available kernels:
  python3                 /opt/tljh/user/share/jupyter/kernels/python3
  bash                    /usr/local/share/jupyter/kernels/bash
  ir                      /usr/local/share/jupyter/kernels/ir
  python_digearth-hack    /usr/local/share/jupyter/kernels/python_digearth-hack
# /opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3/bin/python3 -m ipykernel install
# /opt/tljh/user/bin/jupyter-kernelspec install /usr/local/share/jupyter/kernels/python3 --name=python_atrackcs
# /opt/tljh/user/bin/jupyter-kernelspec list
Available kernels:
  python3                 /opt/tljh/user/share/jupyter/kernels/python3
  bash                    /usr/local/share/jupyter/kernels/bash
  ir                      /usr/local/share/jupyter/kernels/ir
  python_atrackcs         /usr/local/share/jupyter/kernels/python_atrackcs
  python_digearth-hack    /usr/local/share/jupyter/kernels/python_digearth-hack
</PRE>

Editando el nombre del kernel para identificarlo desde deimos:
<PRE style="shell">
# vim /usr/local/share/jupyter/kernels/python_atrackcs/kernel.json 
 "display_name": "Python 3 (atrackcs)",
 "env": {
  "MAMBA_PREFIX":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3",
  "MAMBA_DEFAULT_ENV":"atrackcs_py3",
  "PATH":"/opt/conda/mamba/DE-global_hackathon/miniconda3/envs/atrackcs_py3/bin:/opt/conda/mamba/DE-global_hackathon/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
 },
</PRE>

=== ESMValTool ===
Herramientas para el análisis de datos CMIP. [https://esmvaltool.org/ ESMValTool] es una herramienta en python, abierta y desarrollada por la comunidad.

Los pasos para su instalación se detallan acá [[/ESMValToolInst]].

<I>El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del [https://www.insu.cnrs.fr/fr INSU] - [https://programmes.insu.cnrs.fr/lefe/ LEFE]</I>