|
|
| Línea 1: |
Línea 1: |
| English version [[en:PapaDeimos]]
| | == Que es Redes Avanzadas == |
| | Es una red destinada a la investigación y la educación, principalmente utilizada por universidades. |
|
| |
|
| ''papa-deimos'' es una iniciativa del ''Centro de Investigaciones del Mar y la Atmósfera'' (CIMA, UBA-CONICET/IFAECI CNRS-IRD) compartido con el ''Departamento de Ciencias de la Atmósfera y los Océanos'' ([http://www.at.fcen.uba.ar/ DCAO], UBA - FCEN) para empezar a construir y aprender el acceso y manejo de datos del futuro próximo. A medida que las bases de datos climáticas adquieren más resolución espacial, el tamaño de sus archivos crecen rápidamente. La gestión y análisis de datos actual, se vuelve cada vez menos eficaz y se requiere implementar soluciones novedosas.
| | == Como usar Redes Avanzadas == |
| | La UBA esta conectada a Redes Avanzadas. La utilización de dicha conexión se hace en forma automática al intentar acceder a una red que también se encuentre conectada a Redes Avanzadas. Esto es valido para todo tipo de conexiones (http, ssh, ftp, etc). |
|
| |
|
| Este es un problema que afecta toda la comunidad climática internacional y la única solución posible pasa por llevar el cálculo y diagnóstico de datos ahí donde residen. Es decir, proveer al servidor de almacenaje de datos de capacidades de cálculo '' 'in-situ' ''
| | Hoy en día una gran cantidad de Universidades y Centros de Investigación, se encuentran conectados a Redes Avanzadas. |
|
| |
|
| = Descripción = | | == Como saber si me estoy conectando por Redes Avanzadas == |
| | La forma más facil para saber si me estoy conectando por Redes Avanzadas, es usar el comando traceroute y ver si aparece en alguna linea una conexión con "innova-red" |
|
| |
|
| == Procedimiento actual ==
| | Para ello, desde una máquina con Linux que esté en la red del CIMA, ejecuto: |
| | $ traceroute NOMBRE-O-IP-DESTINO (sin el signo $ y siendo NOMBRE-O-IP-DESTINO el hostname o la IP del equipo al que me conecto o desde el cual descargo información) |
|
| |
|
| Para la gestión y análisis de datos climáticos, en la actualidad se procede de la siguiente manera:
| | Ej: Si me conecto a unl.edu.ar ejecuto el comando |
| | $ traceroute unl.edu.ar |
| | traceroute to unl.edu.ar (190.122.240.60), 30 hops max, 60 byte packets |
| | 1 gcima.cima.fcen.uba.ar (157.92.28.254) 0.771 ms 0.759 ms 0.746 ms |
| | 2 157.92.47.2 (157.92.47.2) 1.794 ms 1.785 ms 1.773 ms |
| | 3 rnoc8-ruba1-10M.BUENOS-AIRES.innova-red.net (199.248.144.245) |
| | 3.077 ms 3.065 ms 3.052 ms |
| | 4 199.248.144.29 (199.248.144.29) 15.454 ms 15.446 ms 16.280 ms |
| | 5 ultra1.unl.edu.ar (190.122.240.60) 10.071 ms 10.073 ms * |
|
| |
|
| # Elaboración de la '''pregunta científica'''
| | En este ejemplo, se puede ver en el salto 5 que se conecta con el nodo BUENOS-AIRES de innova-red, por lo tanto, se está conectando a |
| # '''Búsqueda''' de fuentes de datos que puedan ser útiles para responder a la pregunta. Se realiza una búsqueda para encontrar esos datos requeridos, normalmente en servidores ''remotos''. Se determinan los servidor de datos, formato archivos, periodo cubierto, etc...
| | través de Redes Avanzadas. |
| # '''Descarga''' de datos: Una vez se tiene acceso al servidor de datos, se procede a realizar una copia en un recurso propio de los datos requeridos a través de internet.
| |
| # '''Análisis''' de datos: En la versión '' 'local' '' de los datos se utilizan recursos computacionales propios para realizar los cálculos y diagnósticos estadísticos
| |
| # '''Figuras''' resultados: En recursos propios, se realizan las figuras que muestran los resultados obtenidos.
| |
|
| |
|
| [[File:ExperimentClim_7_resize.png]]
| | == Links == |
| | | *''''' https://www.innova-red.net/ |
| == Procedimiento deseado == | | *''''' https://es.wikipedia.org/wiki/RedCLARA |
| La solución ideal se basaría en un único servidor de datos climático el cuál diera acceso a todos los datos climáticos de interés (observaciones, modelado, ...) y con las capacidades de análisis necesarias.
| |
| | |
| * La búsqueda de datos y sus posibles fuentes de acceso puede ser una tarea difícil y laboriosa. En la actualidad existe el ''Earth System Grid Federation'' ([https://esgf.llnl.gov ESGF]) el cual garantiza acceso universal y abierto de datos climáticos de ejercicios de modelado globales y regionales. No obstante, no existe una plataforma similar para datos observacionales. Además, el acceso a todos esos datos que no estén en algún nodo del ESGF, (por ejemplo, experimentos específicos a una región, país, ...) se vuelve laborioso y difícil. | |
| * A medida que las bases de datos crecen, la descarga por internet se vuelve más problemática, lenta y difícil.
| |
| * Los requerimientos de almacenaje datos para su estudio crecen muy rápidamente y requiere de coordinación a nivel institucional, ya que con recursos individuales se vuelve prácticamente imposible y se generan problemas de duplicación y redundancia. Una buena coordinación asegura una ejecución óptima de los recursos de financiación.
| |
| * El cálculo y diagnóstico de datos climáticos, cada vez requiere de mayores recursos computacionales a los cuales no siempre se tiene acceso. Además suele requerir tener habilidades de programación avanzadas, que no todes les usuaries de datos tienen.
| |
| * Los datos climáticos pueden estar en distintos formatos, y/o ser requeridos en otro formato para poder ser utilizados por las distintas herramientas (ej. netCDF, GIS, ...)
| |
| | |
| ''papa-deimos'' intenta prestar este servicio de almacenaje y cálculo ' ''in-situ' '' a la comunidad del CIMA/DCAO, mediante el cuál el investigador, docente o estudiante realiza los cálculos y sólo se tiene que descargar la figura final o el archivo resultante de sus diagnósticos. El sistema tiene dos componentes:
| |
| * '''papa''': servidor de datos de 150 TB
| |
| * '''deimos''': nodo de cálculo de 48 procesadores y 125 GB de memoria RAM. | |
| | |
| El usuarie accede al sistema vía una interfaz web llamada [https://jupyter.org/ Jupyter]. Dicha interfaz permite el acceso por medio de cuadernos (''notebook'') de programación (python, R, ...). El usuarie programa directamente en el cuaderno accediendo remotamente a los datos evitando potenciales accidentes de pérdida de datos.
| |
| | |
| [[File:ExperimentClim_Propuesta_resize.png]]
| |
| | |
| == Adapt.AR: recurso federal ==
| |
| | |
| En la actualidad se está trabajando con el ''Servicio Meteorológico Nacional'' ([https://www.smn.gob.ar/ SMN]) y el ''Instituto Nacional del Agua'' ([https://www.argentina.gob.ar/ina INA]), para mandar una propuesta de financiación dentro del ''Programa d Facilidades Científicas y Tecnológicas (FCT) de Interés Estratégico e Interinstitucional'', para la creación de un ''Centro de Datos Climático Regional'' (Aadpt.AR) para prestar servicio de acceso y diagnóstico 'in situ' a nivel Federal. Vea más detalles en esta [http://www.xn--llusfb-5va.cat/curriculum/ConDocs/ServidorRegionalDatos.pdf presentación] del proyecto hecha en el CIMA/DCAO en Octubre del 2022. La implementación de Adapt.AR sería un gran paso para la soberanía nacional en términos de climatología, dotaría al país de un elemento imprescindible para afrontar los retos del futuro en materia de clima para la sociedad, ecosistemas, recursos naturales y el tejido productivo; facilitando la planificación de políticas bien informadas de adaptación al cambio climático para todos los estamentos, instituciones y agentes de la república.
| |
| | |
| ''papa-deimos'' es la herramienta prototipo que nos sirve para aprender los requerimientos necesarios de un equipamiento con estas características.
| |
| | |
| La comunidad climática internacional empieza a implementar estas soluciones con sistemas similares de muy alta capacidad. Sirva de ejemplo y referencia el equipamiento llamado [https://jasmin.ac.uk JASMIN] del Met Office (servicio meteorológico del Reino Unido).
| |
| | |
| <I>El sistema papa-deimos, se pudo constituir en parte, gracias a fondos del [https://www.insu.cnrs.fr/fr INSU] - [https://programmes.insu.cnrs.fr/lefe/ LEFE]</I>
| |
| | |
| = uso =
| |
| Pasos a seguir para el [[papa-deimos/uso|uso]] de papa-deimos.
| |
| | |
| = Bases de datos existentes =
| |
| Tabla de los [[papa-deimos/Datos|datos]] accesibles en papa-deimos.
| |
| | |
| = Especificiaciones técnicas =
| |
| Descripción [[papa-deimos/descripcionTec|técnica]] de papa-deimos.
| |
| | |
| = Puesta en funcionamiento del sistema 'papa-deimos' =
| |
| Pasos seguidos para la [[papa-deimos/instalacion|instalación]] de papa-deimos.
| |
Que es Redes Avanzadas
Es una red destinada a la investigación y la educación, principalmente utilizada por universidades.
Como usar Redes Avanzadas
La UBA esta conectada a Redes Avanzadas. La utilización de dicha conexión se hace en forma automática al intentar acceder a una red que también se encuentre conectada a Redes Avanzadas. Esto es valido para todo tipo de conexiones (http, ssh, ftp, etc).
Hoy en día una gran cantidad de Universidades y Centros de Investigación, se encuentran conectados a Redes Avanzadas.
Como saber si me estoy conectando por Redes Avanzadas
La forma más facil para saber si me estoy conectando por Redes Avanzadas, es usar el comando traceroute y ver si aparece en alguna linea una conexión con "innova-red"
Para ello, desde una máquina con Linux que esté en la red del CIMA, ejecuto:
$ traceroute NOMBRE-O-IP-DESTINO (sin el signo $ y siendo NOMBRE-O-IP-DESTINO el hostname o la IP del equipo al que me conecto o desde el cual descargo información)
Ej: Si me conecto a unl.edu.ar ejecuto el comando
$ traceroute unl.edu.ar
traceroute to unl.edu.ar (190.122.240.60), 30 hops max, 60 byte packets
1 gcima.cima.fcen.uba.ar (157.92.28.254) 0.771 ms 0.759 ms 0.746 ms
2 157.92.47.2 (157.92.47.2) 1.794 ms 1.785 ms 1.773 ms
3 rnoc8-ruba1-10M.BUENOS-AIRES.innova-red.net (199.248.144.245)
3.077 ms 3.065 ms 3.052 ms
4 199.248.144.29 (199.248.144.29) 15.454 ms 15.446 ms 16.280 ms
5 ultra1.unl.edu.ar (190.122.240.60) 10.071 ms 10.073 ms *
En este ejemplo, se puede ver en el salto 5 que se conecta con el nodo BUENOS-AIRES de innova-red, por lo tanto, se está conectando a
través de Redes Avanzadas.
Links
