Spyder

Conectar sesión de Spyder local a un núcleo remoto en servidor:

Spyder trae la funcionalidad de poder conectar una sesión corriendo en una máquina local con un núcleo de cálculo que está corriendo en una máquina remota. De esta forma se pueden aprovechar los datos y capacidad de cálculo de un servidor evitando el "lag" o retraso de la interfaz gráfica. Es necesario tener instalado Spyder en el servidor remoto. Los pasos para conectar Spyder son (suponiendo que no está usando la VPN del CIMA):

1) Abrir una terminal y conectar un túnel ssh al servidor:

ssh -L 6000:SERVIDOR:22 USUARIO@portal.cima.fcen.uba.ar

Cambiar SERVIDOR por el nombre del servidor al que desea conectarse y USUARIO por su usuario de la redCIMA. Se puede poner cualquier puerto en lugar de 6000 si ya está ocupado en otra cosa.

2) Entrar al servidor desde la terminal anterior o desde una nueva e iniciar un kernel con el siguiente comando:

nohup python -m spyder_kernels.console -matplotlib='inline' -f=./remotemachine.json &

La opción "-f" indica dónde guardar este archivo que vamos a necesitar. En este ejemplo se guarda en la carpeta actual del servidor, usted puede modificarlo y guardarlo donde desee. La opción nohup sirve para que el kernel siga funcionando aunque se pierda la conexión (y usted pueda volver a conectarse). Es importante recordar que habrá que "matar" el proceso una vez que no se desee seguir utilizando, sino seguirá en memoria indefinidamente.

3) Copiar el archivo remotemachine.json a su computadora local.

4) Abrir Spyder en su máquina local e ir a las opciones arriba a la derecha de la terminal IPython (menú desplegable ícono ≡ o engranaje), clic en “conectarse a un núcleo existente”. En “archivo de conexión” seleccionar el archivo .json que trajimos del servidor. Tildar “este es un núcleo remoto” y completar estas opciones:

servidor: localhost

puerto: 6000

Completar su nombre de usuario y contraseña de la redCIMA.

Aceptar y ya estará conectado al núcleo remoto. Puede tildar "Guardar configuración de conexión" para acceder más rápidamente en el futuro. Recuerde no cerrar la terminal del paso 1 o se cortará la conexión.

Una vez que finalice de trabajar, cierre Spyder y cierre el núcleo remoto desde una terminal, por ejemplo con los comandos kill o killall o desde htop. Si lo desea, puede dejar corriendo el núcleo, cerrar todo, y volver a conectarse en otro momento repitiendo los pasos 1 y 4. Recuerde que dejar el núcleo corriendo implica dejar ocupados los recursos que estaba utilizando (memoria RAM).

Si su máquina local corre en Windows 10 usted puede descargarse de la tienda de aplicaciones de Windows la app "Ubuntu" y de esta forma tener una terminal de bash como si estuviera en Linux.

Autor: Julián Giles
julian.giles@cima.fcen.uba.ar

Observación: para ver las variables en el explorador de variables (Variable Explorer) y los gráficos en Spyder, es necesario tener la versión de Spyder v.4.2.2 en adelante.

Montar un servidor remoto usando SFTP

Para poder abrir y editar scripts guardados en el servidor remoto desde la sesión del Spyder local es necesario montar el servidor remoto. Para esto utilizamos el sshfs. Esto nos permite trabajar con Spyder como si estuviéramos corriendo archivos de la computadora local, pero todo el procesamiento lo hace el servidor remoto.

IMPORTANTE: Si montamos el servidor remoto como se explica en esta sección, cualquier modificación que se haga a los archivos locales montados se verá reflejada en los archivos del servidor. Es decir, si luego de montar los archivos del servidor remoto los abrimos en la máquina local, los editamos y los guardamos, este cambio también se aplica al servidor remoto.

Observación: cuanto más tamaño ocupe la carpeta que deseamos montar, más tardará en montarse. Esto también depende de nuestra conexión a internet. Por este motivo, es recomendable no montar las carpetas que contengan datos, sino más bien limitarnos a montar las carpetas que contengan los scripts.

Para montar el servidor remoto a la máquina local:

1) Si estamos usando el VPN, saltar al paso 4. Si no lo estamos usando, empezar por este paso. En la máquina local, abrir una terminal e ir a la carpeta .ssh

cd /home/usuario/.ssh

donde usuario es el nombre de usuario de la máquina local. Si la carpeta .ssh no existe, crearla.

2) Desde la misma terminal, editar el archivo config:

vi config

y agregar las siguientes líneas (si el archivo ya existe, no eliminar las líneas que ya están):

Host portal
        HostName        portal.cima.fcen.uba.ar
        User            USUARIO
        ServerAliveInterval 60
Host SERVIDOR
        HostName        SERVIDOR.cima.fcen.uba.ar
        User            USUARIO
        ProxyJump       portal
        ServerAliveInterval 60

donde USUARIO es el nombre de usuario de la redCIMA y SERVIDOR el nombre del servidor al que se quiere conectar.

3) Guardar el archivo config. Si se usó vi, guardarlo presionando, ESC, :, luego tipear wq! y darle Enter.

4) Si sshfs no está instalado, instalarlo en la máquina local con

sudo apt-get install sshfs

5) Crear en la máquina local la carpeta donde se desea montar el servidor remoto:

mkdir mountpoint

6) Montar el servidor remoto:

sshfs USUARIO@SERVIDOR:DIRECTORY mountpoint

donde USUARIO es el nombre de usuario de la redCIMA, DIRECTORY la ubicación completa del directorio remoto a montar, y SERVIDOR el nombre del servidor al que nos conectamos. Notar que si no se realizaron los pasos 1 a 3, SERVIDOR debe ser el nombre completo del mismo, por ejemplo hydra.cima.fcen.uba.ar. Si sí se realizaron los pasos 1 a 3, SERVIDOR puede ser simplemente hydra.

Una vez terminado el paso 6, se puede navegar desde Spyder (Archivo/Abrir) hasta la carpeta local mountpoint, y de allí acceder desde el editor a los scripts que estén en la carpeta DIRECTORY del SERVIDOR. Estos scripts se pueden correr con las herramientas comunes de Spyder: F5, F9 y con el uso de las celdas (#%%). Sin embargo, estos scripts no se pueden detener ya que el núcleo que lo está corriendo es el remoto.

7) La carpeta montada se puede desmontar con:

fusermount -u mountpoint