|
|
| Línea 1: |
Línea 1: |
| ''papa-deimos'' es una iniciativa del CIMA/DCAO para empezar a construir y aprender el acceso y manejo de datos del futuro próximo. A medida que las bases de datos climáticas adquieren más resolución espacial, el tamaño de sus archivos crecen rápidamente. La gestión y análisis de datos actual, se vuelve cada vez menos eficaz y se requiere implementar soluciones novedosas.
| | == Que es Redes Avanzadas == |
| | Es una red destinada a la investigación y la educación, principalmente utilizada por universidades. |
|
| |
|
| Este es un problema que afecta toda la comunidad climática internacional y la única solución posible pasa por llevar el cálculo y diagnóstico de datos ahí donde residen. Es decir, proveer al servidor de almacenaje de datos de capacidades de cálculo '' 'in-situ' ''
| | == Como usar Redes Avanzadas == |
| | La UBA esta conectada a Redes Avanzadas. La utilización de dicha conexión se hace en forma automática al intentar acceder a una red que también se encuentre conectada a Redes Avanzadas. Esto es valido para todo tipo de conexiones (http, ssh, ftp, etc). |
|
| |
|
| == Procedimiento actual ==
| | Hoy en día una gran cantidad de Universidades y Centros de Investigación, se encuentran conectados a Redes Avanzadas. |
|
| |
|
| Para la gestión y análisis de datos climáticos, en la actualidad se procede de la siguiente manera:
| | == Como saber si me estoy conectando por Redes Avanzadas == |
| | La forma más facil para saber si me estoy conectando por Redes Avanzadas, es usar el comando traceroute y ver si aparece en alguna linea una conexión con "innova-red" |
|
| |
|
| # Elaboración de la '''pregunta científica'''
| | Para ello, desde una máquina con Linux que esté en la red del CIMA, ejecuto: |
| # '''Búsqueda''' de fuentes de datos que puedan ser útiles para responder a la pregunta. Se realiza una búsqueda para encontrar esos datos requeridos, normalmente en servidores ''remotos''. Se determinan los servidor de datos, formato archivos, periodo cubierto, etc...
| | $ traceroute NOMBRE-O-IP-DESTINO (sin el signo $ y siendo NOMBRE-O-IP-DESTINO el hostname o la IP del equipo al que me conecto o desde el cual descargo información) |
| # '''Descarga''' de datos: Una vez se tiene acceso al servidor de datos, se procede a realizar una copia en un recurso propio de los datos requeridos a través de internet.
| |
| # '''Análisis''' de datos: En la versión '' 'local' '' de los datos se utilizan recursos computacionales propios para realizar los cálculos y diagnósticos estadísticos
| |
| # '''Figuras''' resultados: En recursos propios, se realizan las figuras que muestran los resultados obtenidos.
| |
|
| |
|
| [[File:ExperimentClim_7_resize.png]]
| | Ej: Si me conecto a unl.edu.ar ejecuto el comando |
| | $ traceroute unl.edu.ar |
| | traceroute to unl.edu.ar (190.122.240.60), 30 hops max, 60 byte packets |
| | 1 gcima.cima.fcen.uba.ar (157.92.28.254) 0.771 ms 0.759 ms 0.746 ms |
| | 2 157.92.47.2 (157.92.47.2) 1.794 ms 1.785 ms 1.773 ms |
| | 3 rnoc8-ruba1-10M.BUENOS-AIRES.innova-red.net (199.248.144.245) |
| | 3.077 ms 3.065 ms 3.052 ms |
| | 4 199.248.144.29 (199.248.144.29) 15.454 ms 15.446 ms 16.280 ms |
| | 5 ultra1.unl.edu.ar (190.122.240.60) 10.071 ms 10.073 ms * |
|
| |
|
| == Procedimiento deseado ==
| | En este ejemplo, se puede ver en el salto 5 que se conecta con el nodo BUENOS-AIRES de innova-red, por lo tanto, se está conectando a |
| La solución ideal se basaría en un único servidor de datos climático el cuál diera acceso a todos los datos climáticos de interés (observaciones, modelado, ...) y con las capacidades de análisis necesarias.
| | través de Redes Avanzadas. |
|
| |
|
| * La búsqueda de datos y sus posibles fuentes de acceso puede ser una tarea difícil y laboriosa. En la actualidad existe el ''Earth System Grid Federation'' ([https://esgf.llnl.gov ESGF]) el cual garantiza acceso universal y abierto de datos climáticos de ejercicios de modelado globales y regionales. No obstante, no existe una plataforma similar para datos observacionales. Además, el acceso a todos esos datos que no estén en algún nodo del ESGF, (por ejemplo, experimentos específicos a una región, país, ...) se vuelve laborioso y difícil.
| | == Links == |
| * A medida que las bases de datos crecen, la descarga por internet se vuelve más problemática, lenta y difícil.
| | *''''' https://www.innova-red.net/ |
| * Los requerimientos de almacenaje datos para su estudio crecen muy rápidamente y requiere de coordinación a nivel institucional, ya que con recursos individuales se vuelve prácticamente imposible y se generan problemas de duplicación y redundancia. Una buena coordinación asegura una ejecución óptima de los recursos de financiación. | | *''''' https://es.wikipedia.org/wiki/RedCLARA |
| * El cálculo y diagnóstico de datos climáticos, cada vez requiere de mayores recursos computacionales a los cuales no siempre se tiene acceso. Además suele requerir tener habilidades de programación avanzadas, que no todes les usuaries de datos tienen.
| |
| * Los datos climáticos pueden estar en distintos formatos, y/o ser requeridos en otro formato para poder ser utilizados por las distintas herramientas (ej. netCDF, GIS, ...)
| |
| | |
| ''papa-deimos'' intenta prestar este servicio de almacenaje y cálculo ' ''in-situ' '' a la comunidad del CIMA/DCAO, mediante el cuál el investigador, docente o estudiante realiza los cálculos y sólo se tiene que descargar la figura final o el archivo resultante de sus diagnósticos. El sistema tiene dos componentes:
| |
| * '''papa''': servidor de datos de 150 TB
| |
| * '''deimos''': nodo de cálculo de 48 procesadores y 125 GB de memoria RAM.
| |
| | |
| El usuarie accede al sistema vía una interfaz web llamada [https://jupyter.org/ Jupyter]. Dicha interfaz permite el acceso por medio de cuadernos (''notebook'') de programación (python, R, ...). El usuarie programa directamente en el cuaderno accediendo remotamente a los datos evitando potenciales accidentes de pérdida de datos.
| |
| | |
| [[File:ExperimentClim_Propuesta_resize.png]]
| |
| | |
| En la actualidad se está trabajando con el ''Servicio Meteorológico Nacional'' ([https://www.smn.gob.ar/ SMN]) y el ''Instituto Nacional del Agua'' ([https://www.argentina.gob.ar/ina INA]), para mandar una propuesta de financiación dentro del ''Programa d Facilidades Científicas y Tecnológicas (FCT) de Interés Estratégico e Interinstitucional'', para la creación de un ''Centro de Datos Climático Regional'' (Aadpt.AR) para prestar servicio de acceso y diagnóstico 'in situ' a nivel Federal. Vea más detalles en esta [http://www.xn--llusfb-5va.cat/curriculum/ConDocs/ServidorRegionalDatos.pdf presentación] del proyecto.
| |
| | |
| ''papa-deimos'' es la herramienta prototipo que nos sirve para aprender los requerimientos necesarios de un equipamiento con estas características. | |
| | |
| La comunidad climática internacional empieza a implementar estas soluciones con sistemas similares de muy alta capacidad. Sirva de ejemplo y referencia el equipamiento llamado [https://jasmin.ac.uk JASMIN] del Met Office (servicio meteorológico del Reino Unido).
| |
| | |
| <I>El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del [https://www.insu.cnrs.fr/fr INSU] - [https://programmes.insu.cnrs.fr/lefe/ LEFE]</I>
| |
| | |
| = uso =
| |
| Pasos a seguir para el [[papa-deimos/uso|uso]] de papa-deimos.
| |
| | |
| = Bases de datos existentes =
| |
| Tabla de los [[papa-deimos/Datos|datos]] accesibles en papa-deimos.
| |
| | |
| = Especificiaciones técnicas =
| |
| Descripción [[papa-deimos/descripcionTec|técnica]] de papa-deimos.
| |
| | |
| = Puesta en funcionamiento del sistema 'papa-deimos' =
| |
| Pasos seguidos para la [[papa-deimos/instalacion|instalación]] de papa-deimos.
| |
Que es Redes Avanzadas
Es una red destinada a la investigación y la educación, principalmente utilizada por universidades.
Como usar Redes Avanzadas
La UBA esta conectada a Redes Avanzadas. La utilización de dicha conexión se hace en forma automática al intentar acceder a una red que también se encuentre conectada a Redes Avanzadas. Esto es valido para todo tipo de conexiones (http, ssh, ftp, etc).
Hoy en día una gran cantidad de Universidades y Centros de Investigación, se encuentran conectados a Redes Avanzadas.
Como saber si me estoy conectando por Redes Avanzadas
La forma más facil para saber si me estoy conectando por Redes Avanzadas, es usar el comando traceroute y ver si aparece en alguna linea una conexión con "innova-red"
Para ello, desde una máquina con Linux que esté en la red del CIMA, ejecuto:
$ traceroute NOMBRE-O-IP-DESTINO (sin el signo $ y siendo NOMBRE-O-IP-DESTINO el hostname o la IP del equipo al que me conecto o desde el cual descargo información)
Ej: Si me conecto a unl.edu.ar ejecuto el comando
$ traceroute unl.edu.ar
traceroute to unl.edu.ar (190.122.240.60), 30 hops max, 60 byte packets
1 gcima.cima.fcen.uba.ar (157.92.28.254) 0.771 ms 0.759 ms 0.746 ms
2 157.92.47.2 (157.92.47.2) 1.794 ms 1.785 ms 1.773 ms
3 rnoc8-ruba1-10M.BUENOS-AIRES.innova-red.net (199.248.144.245)
3.077 ms 3.065 ms 3.052 ms
4 199.248.144.29 (199.248.144.29) 15.454 ms 15.446 ms 16.280 ms
5 ultra1.unl.edu.ar (190.122.240.60) 10.071 ms 10.073 ms *
En este ejemplo, se puede ver en el salto 5 que se conecta con el nodo BUENOS-AIRES de innova-red, por lo tanto, se está conectando a
través de Redes Avanzadas.
Links
