Spyder

Revisión de 15:21 31 mayo 2021

Conectar sesión de Spyder local a un núcleo remoto en servidor:

Spyder trae la funcionalidad de poder conectar una sesión corriendo en una máquina local con un núcleo de cálculo que está corriendo en una máquina remota. De esta forma se pueden aprovechar los datos y capacidad de cálculo de un servidor evitando el "lag" o retraso de la interfaz gráfica. Es necesario tener instalado Spyder en el servidor remoto. Los pasos para conectar Spyder son:

1) Entrar al servidor vía terminal e iniciar un kernel con el siguiente comando:

nohup python -m spyder_kernels.console -matplotlib='inline' -f=./remotemachine.json &

La opción "-f" indica dónde guardar este archivo que vamos a necesitar. En este ejemplo se guarda en la carpeta actual, usted puede modificarlo y guardarlo donde desee. La opción nohup sirve para que el kernel siga funcionando aunque se pierda la conexión (y usted pueda volver a conectarse). Es importante recordar que habrá que "matar" el proceso una vez que no se desee seguir utilizando, sino seguirá en memoria indefinidamente.

2) Copiar el archivo remotemachine.json a su computadora local.

3) Abrir una terminal y correr el comando:

ssh -L 6000:SERVIDOR:22 USUARIO@portal.cima.fcen.uba.ar

Cambiar SERVIDOR por el nombre del servidor al que desea conectarse y USUARIO por su usuario de la redCIMA. Se puede poner cualquier puerto en lugar de 6000 si ya está ocupado en otra cosa.

4) Abrir otra terminal de bash y correr el comando:

ssh -p 6000 USUARIO@localhost

Nuevamente, reemplazar USUARIO por su usuario de la redCIMA.

5) Abrir Spyder en su máquina local e ir a las opciones arriba a la derecha de la terminal IPython (menú desplegable ícono ≡ o engranaje), clic en “conectarse a un núcleo existente”. En “archivo de conexión” seleccionar el archivo .json que trajimos del servidor. Tildar “este es un núcleo remoto” y completar estas opciones:

servidor: localhost

puerto: 6000

Completar su nombre de usuario y contraseña de la redCIMA.

Aceptar y ya estará conectado al núcleo remoto. Recuerde no cerrar las terminales o se cortará la conexión.

Una vez que finalice de trabajar cierre Spyder y cierre el núcleo remoto desde otra terminal, no desde la misma en la que está corriendo, por ejemplo con los comandos kill o killall o desde htop.

Si su máquina local corre en Windows 10 usted puede descargarse de la tienda de aplicaciones de Windows la app "Ubuntu" y de esta forma tener una terminal de bash como si estuviera en Linux.

Autor: Julián Giles
julian.giles@cima.fcen.uba.ar

Observación: para ver las variables en el explorador de variables (Variable Explorer) y los gráficos en Spyder, es necesario tener la versión de Spyder v.4.2.2 en adelante.

Montar un servidor remoto usando SFTP

Para poder abrir y editar scripts guardados en el servidor remoto desde la sesión del Spyder local es necesario montar el servidor remoto. Para esto utilizamos el sshfs. Esto nos permite trabajar con Spyder como si estuviéramos corriendo archivos de la computadora local, pero todo el procesamiento lo hace el servidor remoto.

IMPORTANTE: Si montamos el servidor remoto como se explica en esta sección, cualquier modificación que se haga a los archivos locales montados se verá reflejada en los archivos del servidor. Es decir, si luego de montar los archivos del servidor remoto los abrimos en la máquina local, los editamos y los guardamos, este cambio también se aplica al servidor remoto.

Observación: cuanto más tamaño ocupe la carpeta que deseamos montar, más tardará en montarse. Esto también depende de nuestra conexión a internet. Por este motivo, es recomendable no montar las carpetas que contengan datos, sino más bien limitarnos a montar las carpetas que contengan los scripts.

Para montar el servidor remoto a la máquina local:

1) Si estamos usando el VPN, saltar al paso 4. Si no lo estamos usando, empezar por este paso. En la máquina local, abrir una terminal e ir a la carpeta .ssh

cd /home/usuario/.ssh

donde usuario es el nombre de usuario de la máquina local. Si la carpeta .ssh no existe, crearla.

2) Desde la misma terminal, editar el archivo config:

vi config

y agregar las siguientes líneas (si el archivo ya existe, no eliminar las líneas que ya están):

Host portal
        HostName        portal.cima.fcen.uba.ar
        User            USUARIO
        ServerAliveInterval 60
Host SERVIDOR
        HostName        SERVIDOR.cima.fcen.uba.ar
        User            USUARIO
        ProxyJump       portal
        ServerAliveInterval 60

donde USUARIO es el nombre de usuario de la redCIMA y SERVIDOR el nombre del servidor al que se quiere conectar.

3) Guardar el archivo config. Si se usó vi, guardarlo presionando, ESC, :, luego tipear wq! y darle Enter.

4) Si sshfs no está instalado, instalarlo en la máquina local con

sudo apt-get install sshfs

5) Crear en la máquina local la carpeta donde se desea montar el servidor remoto:

mkdir mountpoint

6) Montar el servidor remoto:

sshfs USUARIO@SERVIDOR:DIRECTORY mountpoint

donde USUARIO es el nombre de usuario de la redCIMA, DIRECTORY la ubicación completa del directorio remoto a montar, y SERVIDOR el nombre del servidor al que nos conectamos. Notar que si no se realizaron los pasos 1 a 3, SERVIDOR debe ser el nombre completo del mismo, por ejemplo hydra.cima.fcen.uba.ar. Si sí se realizaron los pasos 1 a 3, SERVIDOR puede ser simplemente hydra.

Una vez terminado el paso 6, se puede navegar desde Spyder (Archivo/Abrir) hasta la carpeta local mountpoint, y de allí acceder desde el editor a los scripts que estén en la carpeta DIRECTORY del SERVIDOR. Estos scripts se pueden correr con las herramientas comunes de Spyder: F5, F9 y con el uso de las celdas (#%%). Sin embargo, estos scripts no se pueden detener ya que el núcleo que lo está corriendo es el remoto.

7) La carpeta montada se puede desmontar con:

fusermount -u mountpoint