terminal

La terminal es una interfaz de línea de comando que permite interactuar con la computadora. Al igual que cualquier GUI (por Graphical User Interface) con la que hayamos trabajado en Windows o Linux, la terminal nos permite acceder a directorios (carpetas) y archivos, generar nuevos archivos y moverlos a otras ubicaciones entre otro millón de cosas.

Entonces, ¿porqué "complicarnos" con la terminal si puedo hacer lo mismo con un par de clicks del mouse? Cuando queremos interactuar con la computadora de manera compleja, hacer tareas repetitivas o por ejemplo conectarnos de manera remota con otras computadoras, necesitamos saber usar la terminal.

¿Cómo funciona?

Al abrir la terminal nos encontramos con una pantalla negra y en la primera linea algo como lo siguiente:

Esto va a ser usuario@nombredelacomputadora:~$. Acá el ~ indica el directorio raíz y el $ o prompt indica que la shell está esperando instrucciones.

La shell es un programa que interpreta nuestras ordenes y las traduce en lenguaje computadora. A travez de la shell podemos hacer cosas tan simples como copiar un archivo con un simple comando hasta correr un modelo de simulación numérica.

Herramientras básicas

Las herramientas básicas vienen pre-instaladas con el sistema operativo en en el paquete coreutils (o GNU Core Utilities). Por ejemplo:

$ ls

Desktop     Downloads   Pictures      Test
Documents   Music       terminal.png

Este comando lista el contenido dentro del directorio actual. Y su nombre viene de "list". Se puede extender las capacidades de los comandos con flags usando la siguiente sintaxis:

$ [comando] -flags

Por ejemplo, si quisiéramos más información sobre los archivos y directorios que están en el directorio actual usamos:

$ ls -l
drwxr-xr-x  2 pao pao   4,0K may 19 15:24  Desktop
drwxr-xr-x 17 pao pao   4,0K mar 16 13:52  Documents
drwxr-xr-x 10 pao pao    16K jun  9 16:38  Downloads
drwxr-xr-x  2 pao pao   4,0K ene 19  2018  Music
drwxr-xr-x 19 pao pao   4,0K jun  8 18:35  Pictures
-rw-r--r--  1 pao pao  11132 jun  9 16:38  terminal.png
drwxr-xr-x  2 pao pao   4096 jun  9 17:54  Test

Existen una infinidad de comandos, cada uno con sus flags y a diferencia de una interfaz gráfica donde tenemos botones, al trabajar en la terminal es necesario conocerlos. Esto se aprende con práctica pero también googleando aquello que queremos resolver.

Navegando entre directorios

Lo primero es saber donde estamos parados dentro de la computadora, para eso existe el comando pwd (que viene de "print working directory"):

$ pwd
/home/pao

En este caso estamos parados en el home. La respuesta de este comando puede ser distinta dependiendo del sistema operativo, pero dentro del mundo de linux no debería variar mucho.

El home es la carpeta principal del usuario, donde se guardará todo. Pero por encima hay toda una estructura de archivos que organizan los programas instalados, las herramientas de sistema y los "homes" de otros usuarios dentro de la misma computadora.

Otra manera de ver donde estamos, es revisando el contenido del directorio con ls y reconoceer así el directorio.

Si queremos "movernos" dentro de la computadora hacia otro directorio, el comando indicado es cd (que vienen de "change directory", para esta altura seguro ya descubrieron el patrón).

Por ejemplo queremos movernos al directorio "Test" (ojo, shell es case sensitive, las mayusculas y minusculas no son intercambiables!):

$ cd Test

Este comando no devuelve nada pero si usamos pwd, veremos que ahora estamos en un nuevo directorio.

Para volver al directorio anterior usamos .., es un "directorio especial" que representa el directorio previo o parent directory. También existe un . que representa el directorio actual. Pueden verlos usando $ ls -a para mostrar todos ("all") los elementos en el directorio actual

$ cd ..

Path absolutos y relativos

En el ejemplo anterior usamos cd para movernos y el nombre del directorio al cual queremos ir. Cómo el directorio Test estaba adentro del directorio de trabajo accedimos sin problemas pero si hubiéramos estado en otro lado nos hubiera dicho que no existe un directorio Test. Esto es así porque le estamos dando el path relativo (relativo al directorio donde estamos parados). Pero cd también puede interpretar la ubicación exacta o absoluta de un directorio. Por ejemplo:

$ cd /home/pao/Test

Algunos trucos

Muchas veces escribimos mal el nombre de un directorio o archivo, a veces son super largos o el path absoluto es enorme. Existen varios atajos para hacernos la vida más simple:

• Tab: La tecla Tab completa el nombre del archivo o directorio. Basta con escribir las primeras letras del nombre y luego con la tecla tab se termina de escribir automáticamente el nombre.

• Ctrl + a: Principio de línea. Se manda el cursos al principio de la línea de comando. También funciona la tecla Inicio.
• Ctrl + e: Final de línea. Se manda el cursos al final de la línea de comando. O también la tecla Fin.

Manipulando archivos y directoios

• mkdir: Para crear directorios usamos el comando mkdir (por supuesto de "make directory"):

$ mkdir Test2
$ ls
Desktop     Downloads   Pictures      Test
Documents   Music       terminal.png  Test2
$

La ubicación del nuevo directorio dependerá de la ubicación relativa o absoluta que le dimos. En este caso, se creará en el directorio donde estamos trabajando.

• cp: si quisiéramos copiar un archivo en otra ubicación usamos cp (de "copy"). Este comando necesita saber que copiar y donde copiarlo: cp [origen] [destino], por ejemplo:

$ cp [origen] [destino]
$ cp terminal.png Test
$ ls Test
$ terminal.png

cp tiene una flag -r que permite copiar recursivamente un directorio y su contenido.

• mv: el comando mv ("move") permite mover un archivo (parecido al ctrl+C y ctrl+V en una interfáz gráfica). Pero también permite cambiarle el nombre a un archivo si los "movemos" en el mismo lugar:

$ mv [origen] [destino]
$ mv Test/terminal.png Test/terminal2.png
$ ls Test
terminal2.png

• rm: si queremos borrar un archivo usamos rm (de "remove"). Para borrar directorios podemos agregar una flag. Pero cuidado esta acción es irreversible. La terminal no tiene papelera y no existe el Ctrl+z, cuidado con con lo borran!

$ rm [fichero]
$ rm Test/terminal2.png
$ ls Test

NOTA: para borrar directorios y todo su contenido es necesario añadirle el flag '-r' (recursive). Si nos da apuro, existe rmdir pero sólo borra directorios vacíos.

$ rm Test
rm: cannot remove 'Test': Is a directory
$ rm -r Test

• ls: 'list', lista el contenido de un directorio (un directorio es el equivalente de 'carpeta' de Windows)

$ ls
20160324_bash.pdf  install.inf  prueba.bash  Terminal.png  test.bash
$ ls -l
total 244
-rw-r--r-- 1 lluis lluis 221654 Jun  6 10:49 20160324_bash.pdf
-rw-rw-r-- 1 lluis lluis    328 Apr 25 14:53 install.inf
-rwxr--r-- 1 lluis lluis    114 Jun  6 11:27 prueba.bash
-rw-r--r-- 1 lluis lluis  11172 Apr 11 16:27 Terminal.png
-rw-r--r-- 1 lluis lluis   4056 Jun  6 10:49 test.bash

Atributos de un archivo

Al hacer un list con ls -l, nos aparecen la lista de elementos en el directorio con sus atributos:

• ls: lista el contenido de un directorio

$ ls -l
[AtributosDueñx][AtributosGrupo][AtributosTodxs] [ID] [Dueñx] [Grupo] [Tamaño] [Fecha] [NombreFichero]
total 244
-rw-r--r-- 1 lluis lluis 221654 Jun  6 10:49 20160324_bash.pdf
-rw-rw-r-- 1 lluis lluis    328 Apr 25 14:53 install.inf
-rwxr--r-- 1 lluis lluis    114 Jun  6 11:27 prueba.bash
drwxr-xr-x 2 lluis lluis   4096 Jun  6 12:25 parTUXza
-rw-r--r-- 1 lluis lluis  11172 Apr 11 16:27 Terminal.png
-rwxr--r-- 1 lluis lluis   4056 Jun  6 10:49 test.bash

Por ejemplo, el archivo pdf 20160324_bash.pdf tiene los siguientes atributos:

• -rw-r--r-- 1 lluis lluis 221654 Jun 6 10:49 20160324_bash.pdf, fichero pdf

• • -rw-: El dueño del archivo sólo puede leerlo y modificarlo.
  • r--: El grupo sólo puede leerlo
  • r--: Todo el mundo sólo puede leerlo
  • lluis: Dueño del archivo
  • lluis: Grupo del archivo
  • 221654: Tamaño en bytes del archivo
  • Jun 6 10:49: fecha de la última modificación del archivo

Otros archivos tiene permisos de ejecución, por ejemplo:

• -rwxr--r-- 1 lluis lluis 4056 Jun 6 10:49 test.bash: script de shell, -rwx indica que sólo el dueño puede ejecutarlo.
• drwxr-xr-x 2 lluis lluis 4096 Jun 6 12:25 parTUXza: directorio (drwx), para linux, los directorios son ejectuables para todos!

Comodines

Los comodines son símbolos o expresiones que actual básicamente como cómodines y te permiten ahorrar tiempo. Por ejemplo * funcionan como cualquier cantidad de caracteres:

$ cp *.png Test/

En este caso todos los archivos que terminen con ".png" serán copiados a la carpeta Test, sin importar que nombre tengan antes del .png.

Hay muchos otros, por ejemplo ? es como el * pero solo para un carácter. No es necesario aprenderlos a todos, es cuestión de práctica y a medida que los necesitamos.

Más recursos

Parte de este material está inspirado en la clase The Unix Shell de The Carpentries donde hay muchos ejemplos, ejercicios y clases más avanzadas. Es recomendable darle una mirada.

Ayuda

Es posible acceder a la ayuda de un comando con una flag específica -h --h --help (esto depende del comando). O en algunos casos, también está disponible la documentación completa a la que se accede con `man`.

$ [comando] --h
$
$ man [comando]
$

Variables de sistema

El sistema operativo se configura a través de unas variables de sistema generales

• $HOME: Ubicación inicial al abrir una terminal cómo usuarie (/home/[usuarix])
• $PATH: Directorios que ya están cargados automáticamente al abrir un terminal. Suelen ser directorios con aplicaciones, así no hace falta saber dónde se encuentran las aplicaciones. Por ejemplo:

/home/lluis/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games

• $LD_LIBRARY_PATH: Librerias cargadas en el sistema

Shell scripting

La shell es un programa que interpreta nuestras ordenes y las traduce en lenguaje computadora. Les usuaries acceden al kernel y a las componentes de la computadora a través de ella.

Esta shell permite la ejecución de scripts para automatizar esas tareas que sean repetitivas. Estos scripts se pueden programar en distintas shells. En esta introducción se dan detalles de bash: bourn-again Shell (hay distitnas shells: csh, sh, ksh, ...). En estas shells se pueden utilizar todos los coreutils. Los scripts constituyen un lenguajde de programación interpreatado que es masivamente utilizando dentro del entorno linux

Los scripts de shell son programas ejecutables interpretados por el kernel. Deben tener permiso de ejecución para poder correr. Para cambiar los permisos u modos de un archivo o directorio se utiliza el comando chmod ("change mode" o cambiar modo):

$ chmod u+x [ScriptShell]

O bien directamente al llamar bash (si el script es de bash)

$ bash [ScriptShell]

Este es el ejemplo más sencillo de script, con nombre hola.bash (se elige la extensión .bash, pero no es obligatorio)

#!/bin/bash
echo "Hola mundo!!"

La primera línea indica que tipo de shell vamos a usar, al incluir esto no va a ser necesario usar el comando bash.

• Al ejecutarse:

$ ./hola.bash
Hola mundo!!

• Shell va a interpretar que queremos ejecutar el archivo porque usamos ./ seguido del nombre del archivo.

Conceptos básicos

Un script es básicamente un archivo de texto con sentencias u órdenes a ser interpretadas por una computadora. Pueden contener cualquier instrucción que ejecutaríamos manualmente nosotros (ej. python, modelos, ....).

Estos son algunos elementos básicos:

• #: carácter para comentarios, todo lo que va a la derecha no va a ser tenido en cuenta por la computadora.
• ;: carácter para concatenar líneas de código
• echo: permite mostrar en la terminal cualquier cosa que pongamos a la derecha del comando.
• >: captura la salida de un comando para dirigirla a algún destino (ej. archivo) creándolo si no existe
• >>: captura la salida de un comando para dirigirla al final de algún destino (ej. archivo)
• |: concatenación de comandos
• `: permite capturar la ejecución de un comando
• $: indicación de variable

variables

Se utilizan cómo $[NombreVariable] o ${[NombreVariable]}. Se asignan con '=' (sin espacios!!!)

#!/bin/bash

number=3                   #nueva variable
echo "Numero: "${number}   #quiero mostrar en la terminar el valor de "number"

Ejecutando

$ chmod u+x test.bash
$ ./test.bash
Numero: 3

Asignación de valores

Asignación de un valor después de ejecutar un comando (con ``)

fecha=`date "+%Y/%m/%d"`  #date permite manipular fechas y horas.
echo "HOY: "${fecha}     

Ejecutando

HOY: 2018/06/06

if: Condiciones

Al igual que otros lenguajes, bash permite usar control de flujo. Por ejemplo if permite incluir una condición:

valor='Hola'

if test ${valor} == 'Hola'; then
  echo "Hello !"
else
  echo "Goodbye"
fi

Ejecutando

Hello

Por ejemplo, se puede usar para ver si existe un archivos

if test ! -f ArchivoTest.txt; then
  echo "El archivo 'ArchivoTest.txt' no existe, creandolo !!"
  echo "Hola, test" > ArchivoTest.txt
else
  echo "El archivo 'ArchivoTest.txt' existe"
fi

siendo cada flag !: contrario, -f: es archivo

ejecutando

El archivo 'ArchivoTest.txt' no existe, creandolo !!

while do: bucles

permite repetir un determinado número de veces una instrucción mientras se cumpla una determinada condición:

hoy=`date +%Y%m%d`

echo "hoy: "${hoy}

i=0
while test $i -le 10; do
  nuevodia=`date +%Y%m%d -d"${hoy} $i days"`
  echo "i: "$i" fecha:"${nuevodia}
  i=`expr $i + 1`
done

Ejecutando

hoy: 20180611
i: 0 fecha:20180611
i: 1 fecha:20180612
i: 2 fecha:20180613
i: 3 fecha:20180614
i: 4 fecha:20180615
i: 5 fecha:20180616
i: 6 fecha:20180617
i: 7 fecha:20180618
i: 8 fecha:20180619
i: 9 fecha:20180620
i: 10 fecha:20180621

ejecución de un comando

Con la variable $? podemos saber el estado de ejecución de un comando, si no es 0, es que el comando anterior se ejecutó mal.

$ ls
ArchivoTest.txt  nuevoArchivo.txt
$ echo $?
0

$ ls nuevoarchivo.txt
ls: cannot access 'nuevoarchivo.txt': No such file or directory
$ echo $?
2

date: manejo del tiempo

El comando date nos permite manejar el tiempo y sus componentes

Impresión de hoy como año(4 dígitos)/mes(2 dígitos)/día(2 dígitos)

$ date "+%Y"/"%m"/"%d"
2024/06/03

Restar 124 horas al 1 de enero del 1982

$ date -d"19820101 124 hours ago"
Sat 26 Dec 1981 08:00:00 PM -03

expr: cálculos

El comando exp permite hacer operaciones matemáticas (muy limitado sólo enteros, más potente AWK, más adelante)

$ expr 2 + 5
7
$ expr 2 - 5
-3
$ expr 2 '*' 5
10
$ expr 2 / 5
0
$ expr 5 % 2
1

cat: consulta de archivos

El comando cat es muy útil y versátil a la hora de manejar archivos de texto.

Creación de un archivo

Se puede crear un archivo con contendio desde una script de la siguiente manera:

num=3
cat << EOF > nuevoArchivo.txt
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt'
El valor de num es ${num}
EOF

Volcado del contenido de un archivo

No vuelca del contenido del archivo en la terminal

$ cat nuevoArchivo.txt
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt'
El valor de num es 3

grep: búsqueda de patrones

El comando grep nos permite buscar patrones dentro de archivos y devuelve la línea que coincide

$ grep valor nuevoArchivo.txt
El valor de num es 3

con el flag -i no distingue entre minúsculas/mayúsculas

$ grep A nuevoArchivo.txt
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt'

$ grep -i A nuevoArchivo.txt
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt'
El valor de num es 3

concatenación de comandos

El carácter | se usa para concatenar comandos

cat nuevoArchivo.txt | grep -i A
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt'
El valor de num es 3

tr: remplazo de caracteres

El comando <CODER>TR</CODE> nos permite reemplazar caracteres

echo "1:2:3:4:5:" | tr ':' '@'
1@2@3@4@5@

AWK: lenguaje de programación

El lenguaje AWK sirve para procesar datos en archivos de texto

Por ejemplo, sumarle un tercio al valor de num (que es la sexta palabra en la línea donde aparece 'num')

$ cat nuevoArchivo.txt | grep num | awk '{print $6 + 1 / 3}'
3.33333

bucles complejos

Se pueden crear bucles que tomen valores de una lista

valores="0@primero:1@segundo:1@tercero:2@cuarto:3@quinto:5@sexto:8@septimo:13@octavo:21@noveno"
vals=`echo ${valores} | tr ':' ' '`
i=1
for vv in ${vals}; do
  numfib=`echo ${vv} | tr '@' ' ' | awk '{print $1}'`
  numeral=`echo ${vv} | tr '@' ' ' | awk '{print $2}'`
  echo "El ${numeral} valor '${i}', de la serie de Fibonacci es: "${numfib}
  i=`expr ${i} + 1`
done
El primero valor '1', de la serie de Fibonacci es: 0
El segundo valor '2', de la serie de Fibonacci es: 1
El tercero valor '3', de la serie de Fibonacci es: 1
El cuarto valor '4', de la serie de Fibonacci es: 2
El quinto valor '5', de la serie de Fibonacci es: 3
El sexto valor '6', de la serie de Fibonacci es: 5
El septimo valor '7', de la serie de Fibonacci es: 8
El octavo valor '8', de la serie de Fibonacci es: 13
El noveno valor '9', de la serie de Fibonacci es: 21

Entorno servidores/clústers

Los servidores y clúster de computación, son otras máquinas, con sus usuarios y entorno linux. Normalmente se encuentran conectadas a internet y se accede a estas máquinas de manera remota desde otra computadora o llamada "local"

Para acceder de manera remota es necesario tener un usuario y conocer el nombre de la máquina y su dominio.

Acceso

El acceso a los clúster de computación (HPC del Inglés) o servidores se realiza en la mayoría de los casos via ssh

$ ssh [NombreUsuarioenServidor]@[nombreServidor].[domino]

Por ejemplo, el CIMA dispone de un clúster de computación llamado hydra y con el domino cima.fcen.uba.ar. Si Juan Perez quiere acceder a Hydra usa el siguiente comando (al apretar enter, el sistema te pide la clave pero no aparece ningún cursor):

$ ssh juan.perez@hhydra.cima.fcen.uba.ar
juan.perez@hydra.cima.fcen.uba.ar's password:
[juan.perez@hydra ~]$

• Una vex en el servidor/clúster le usuarie tiene un entorno linux estándard. Al trabajar en un espacio compartido es necesario tener cuidado ya que los cambios podrían afectar a otras personas.
• Para salir, se usa la instrucción exit

[juan.perez@hydra ~]$ exit
$

Copiado de ficheros

Para copiar archivos guardados en servidores se puede utilizar herramientas gráficas, pero la experiencia recomienda hacerlo desdel terminal. Para tal caso, existen las instrucciones scp y rsync (más potente y muy útil para sincronizar copias):

$ rsync [NombreUsuarixOrig]@[origen]:[fichero/directorio] [NombreUsuarixDest]@[destino]:[directorio] 

• [NombreUsuarixOrig]: Nombre del usuarix en la máquina donde se encuentra el fichero o directorio a copiar
• [origen]: nombre de la máquina y su doiminio ([NombreMaquina].[dominio]) donde se encuentra el fichero o directorio
• [fichero/directorio]: fichero o directorio a copiar
• [NombreUsuarixDest]: Nombre del usuarix en la máquina donde se quiere copiar el fichero o directorio
• [destino]: nombre de la máquina y dominio ([NombreMaquina].[dominio]) a la cuál se quiere hacer la copia
• [directorio]: nombre de directorio en la máquina destino donde se quiere hacer la copia

Cuando se quiere copiar, siempre nos pedirá la clave de acceso de la máquina remota. El destino o el origen no pueden ser los dos remotos. Uno tiene que ser una máquina local. Cuando es la máqiuna local, no se indica [NombreUsuarx]@[maquina] Si no se indica destino de la copia, se copia directamente en el ${HOME}

• Copia de un fichero local al $HOME de hydra

$ rsync documento.txt juan.perez@hydra.cima.fcen.uba.ar:

• Copia de un fichero de hydra del directorio ${HOME}/experimentos/WRFsensSFC/run/ a la máquina en local al directorio ${HOME}/estudios/WRFsensSFC/simulacion/control

$ rsync juan.perez@hydra.cima.fcen.uba.ar:experimentos/WRFsensSFC/run/wrfout_d01_2002-12-01_00:00:00 estudios/WRFsensSFC/si
mulacion/control

Ejemplos

Pueden encontrar más ejemplos en [https://forge.ipsl.jussieu.fr/igcmg_doc/wiki/DocKexterntools#BootCampIPSLpresentations-documentations- handsonsessions IPSL boot camp] Archivo:20160324 bash.pdf y sus ejemplos Archivo:test bash.doc (antes de utilizar, renombrar cómo test.bash y darle atributos de ejecución)

También hay disponible un repositorio con una colección de scripts reales de Lluís Fita (CIMA):

$ git clone https://git.cima.fcen.uba.ar/lluis.fita/ShellScripts