Revisión de 12:32 29 sep 2023

papa-deimos es una iniciativa del CIMA/DCAO para empezar a construir y aprender el acceso y manejo de datos del futuro próximo. A medida que las bases de datos climáticas adquieren más resolución espacial, el tamaño de sus archivos crecen rápidamente. La gestión y análisis de datos actual, se vuelve cada vez menos eficaz y se requiere implementar soluciones novedosas.

Este es un problema que afecta toda la comunidad climática internacional y la única solución posible pasa por llevar el cálculo y diagnóstico de datos ahí donde residen. Es decir, proveer al servidor de almacenaje de datos de capacidades de cálculo 'in-situ'

Procedimiento actual

Para la gestión y análisis de datos climáticos, en la actualidad se procede de la siguiente manera:

1. Elaboración de la pregunta científica
2. Búsqueda de fuentes de datos que puedan ser útiles para responder a la pregunta. Se realiza una búsqueda para encontrar esos datos requeridos, normalmente en servidores remotos. Se determinan los servidor de datos, formato archivos, periodo cubierto, etc...
3. Descarga de datos: Una vez se tiene acceso al servidor de datos, se procede a realizar una copia en un recurso propio de los datos requeridos a través de internet.
4. Análisis de datos: En la versión 'local' de los datos se utilizan recursos computacionales propios para realizar los cálculos y diagnósticos estadísticos
5. Figuras resultados: En recursos propios, se realizan las figuras que muestran los resultados obtenidos.

Procedimiento deseado

La solución ideal se basaría en un único servidor de datos climático el cuál diera acceso a todos los datos climáticos de interés (observaciones, modelado, ...) y con las capacidades de análisis necesarias.

• La búsqueda de datos y sus posibles fuentes de acceso puede ser una tarea difícil y laboriosa. En la actualidad existe el Earth System Grid Federation (ESGF) el cual garantiza acceso universal y abierto de datos climáticos de ejercicios de modelado globales y regionales. No obstante, no existe una plataforma similar para datos observacionales. Además, el acceso a todos esos datos que no estén en algún nodo del ESGF, (por ejemplo, experimentos específicos a una región, país, ...) se vuelve laborioso y difícil.
• A medida que las bases de datos crecen, la descarga por internet se vuelve más problemática, lenta y difícil.
• Los requerimientos de almacenaje datos para su estudio crecen muy rápidamente y requiere de coordinación a nivel institucional, ya que con recursos individuales se vuelve prácticamente imposible y se generan problemas de duplicación y redundancia. Una buena coordinación asegura una ejecución óptima de los recursos de financiación.
• El cálculo y diagnóstico de datos climáticos, cada vez requiere de mayores recursos computacionales a los cuales no siempre se tiene acceso. Además suele requerir tener habilidades de programación avanzadas, que no todes les usuaries de datos tienen.
• Los datos climáticos pueden estar en distintos formatos, y/o ser requeridos en otro formato para poder ser utilizados por las distintas herramientas (ej. netCDF, GIS, ...)

papa-deimos intenta prestar este servicio de almacenaje y cálculo ' in-situ' a la comunidad del CIMA/DCAO, mediante el cuál el investigador, docente o estudiante realiza los cálculos y sólo se tiene que descargar la figura final o el archivo resultante de sus diagnósticos. El sistema tiene dos componentes:

• papa: servidor de datos de 150 TB
• deimos: nodo de cálculo de 48 procesadores y 32 GB de RAM.

El usuarie accede al sistema vía una interfaz web llamada Jupyter. Dicha interfaz permite el acceso por medio de cuadernos (notebook) de programación (python, R, ...). El usuarie programa directamente en el cuaderno accediendo remotamente a los datos evitando potenciales accidentes de pérdida de datos.

En la actualidad se está trabajando con el Servicio Meteorológico Nacional (SMN) y el Instituto Nacional del Agua (INA), para mandar una propuesta de financiación dentro del Programa d Facilidades Científicas y Tecnológicas (FCT) de Interés Estratégico e Interinstitucional, para la creación de un Centro de Datos Climático Regional (Aadpt.AR) para prestar servicio de acceso y diagnóstico 'in situ' a nivel Federal.

papa-deimos es la herramienta prototipo que nos sirve para aprender los requerimientos necesarios de un equipamiento con estas características.

La comunidad climática internacional empieza a implementar estas soluciones con sistemas similares de muy alta capacidad. Sirva de ejemplo y referencia el equipamiento llamado JASMIN del Met Office (servicio meteorológico del Reino Unido).

El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del INSU - LEFE

uso

Pasos a seguir para el uso de papa-deimos.

Bases de datos existentes

Tabla de los datos accesibles en papa-deimos.

Especificiaciones técnicas

Descripción técnica de papa-deimos.

Puesta en funcionamiento del sistema 'papa-deimos'

Pasos seguidos para la instalación de papa-deimos.