terminal
(→grep: búsqueda de patrones =) |
(→Conceptos básicos) |
||
Línea 259: | Línea 259: | ||
* <code>;</code>: carácter para concatenar líneas de código |
* <code>;</code>: carácter para concatenar líneas de código |
||
* <code>echo</code>: permite mostrar en la terminal cualquier cosa que pongamos a la derecha del comando. |
* <code>echo</code>: permite mostrar en la terminal cualquier cosa que pongamos a la derecha del comando. |
||
+ | * <code>></code>: captura la salida de un comando para dirigirla a algún destino (ej. archivo) creándolo si no existe |
||
+ | * <code>>></code>: captura la salida de un comando para dirigirla al final de algún destino (ej. archivo) |
||
+ | * <code>|</code>: concatenación de comandos |
||
=== variables === |
=== variables === |
||
Línea 379: | Línea 382: | ||
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' |
Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' |
||
El valor de num es 3 |
El valor de num es 3 |
||
+ | </PRE> |
||
+ | |||
+ | === concatenación de comandos === |
||
+ | El carácter <CODE>|</CODE> se usa para concatenar comandos |
||
+ | <PRE style="shell"> |
||
+ | cat nuevoArchivo.txt | grep -i A |
||
+ | Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' |
||
+ | El valor de num es 3 |
||
+ | </PRE> |
||
+ | |||
+ | === AWK: lenguaje de programación === |
||
+ | El lenguaje [[https://es.wikipedia.org/wiki/AWK AWK]] sirve para procesar datos en archivos de texto |
||
+ | |||
+ | Por ejemplo, sumarle 4 al valor de num (que es la sexta palabra en la línea donde aparece 'num') |
||
+ | <PRE style="shell"> |
||
+ | cat nuevoArchivo.txt | grep num | awk '{print $6 + 4}' |
||
+ | 7 |
||
</PRE> |
</PRE> |
||
Revisión de 10:07 2 jun 2024
La terminal es una interfaz de línea de comando que permite interactuar con la computadora. Al igual que cualquier GUI (por Graphical User Interface) con la que hayamos trabajado en Windows o Linux, la terminal nos permite acceder a directorios (carpetas) y archivos, generar nuevos archivos y moverlos a otras ubicaciones entre otro millón de cosas.
Entonces, ¿porqué "complicarnos" con la terminal si puedo hacer lo mismo con un par de clicks del mouse? Cuando queremos interactuar con la computadora de manera compleja, hacer tareas repetitivas o por ejemplo conectarnos de manera remota con otras computadoras, necesitamos saber usar la terminal.
Contenido |
¿Cómo funciona?
Al abrir la terminal nos encontramos con una pantalla negra y en la primera linea algo como lo siguiente:
Esto va a ser usuario@nombredelacomputadora:~$
. Acá el ~
indica el directorio raíz y el $
o prompt indica que la shell está esperando instrucciones.
La shell es un programa que interpreta nuestras ordenes y las traduce en lenguaje computadora. A travez de la shell podemos hacer cosas tan simples como copiar un archivo con un simple comando hasta correr un modelo de simulación numérica.
Herramientras básicas
Las herramientas básicas vienen pre-instaladas con el sistema operativo en en el paquete coreutils (o GNU Core Utilities). Por ejemplo:
$ ls Desktop Downloads Pictures Test Documents Music terminal.png
Este comando lista el contenido dentro del directorio actual. Y su nombre viene de "list". Se puede extender las capacidades de los comandos con flags usando la siguiente sintaxis:
$ [comando] -flags
Por ejemplo, si quisiéramos más información sobre los archivos y directorios que están en el directorio actual usamos:
$ ls -l drwxr-xr-x 2 pao pao 4,0K may 19 15:24 Desktop drwxr-xr-x 17 pao pao 4,0K mar 16 13:52 Documents drwxr-xr-x 10 pao pao 16K jun 9 16:38 Downloads drwxr-xr-x 2 pao pao 4,0K ene 19 2018 Music drwxr-xr-x 19 pao pao 4,0K jun 8 18:35 Pictures -rw-r--r-- 1 pao pao 11132 jun 9 16:38 terminal.png drwxr-xr-x 2 pao pao 4096 jun 9 17:54 Test
Existen una infinidad de comandos, cada uno con sus flags y a diferencia de una interfaz gráfica donde tenemos botones, al trabajar en la terminal es necesario conocerlos. Esto se aprende con práctica pero también googleando aquello que queremos resolver.
Lo primero es saber donde estamos parados dentro de la computadora, para eso existe el comando pwd
(que viene de "print working directory"):
$ pwd /home/pao
En este caso estamos parados en el home. La respuesta de este comando puede ser distinta dependiendo del sistema operativo, pero dentro del mundo de linux no debería variar mucho.
El home es la carpeta principal del usuario, donde se guardará todo. Pero por encima hay toda una estructura de archivos que organizan los programas instalados, las herramientas de sistema y los "homes" de otros usuarios dentro de la misma computadora.
Otra manera de ver donde estamos, es revisando el contenido del directorio con ls
y reconoceer así el directorio.
Si queremos "movernos" dentro de la computadora hacia otro directorio, el comando indicado es cd
(que vienen de "change directory", para esta altura seguro ya descubrieron el patrón).
Por ejemplo queremos movernos al directorio "Test" (ojo, shell es case sensitive, las mayusculas y minusculas no son intercambiables!):
$ cd Test
Este comando no devuelve nada pero si usamos pwd
, veremos que ahora estamos en un nuevo directorio.
Para volver al directorio anterior usamos ..
, es un "directorio especial" que representa el directorio previo o parent directory. También existe un .
que representa el directorio actual. Pueden verlos usando $ ls -a
para mostrar todos ("all") los elementos en el directorio actual
$ cd ..
Path absolutos y relativos
En el ejemplo anterior usamos cd
para movernos y el nombre del directorio al cual queremos ir. Cómo el directorio Test estaba adentro del directorio de trabajo accedimos sin problemas pero si hubiéramos estado en otro lado nos hubiera dicho que no existe un directorio Test. Esto es así porque le estamos dando el path
relativo (relativo al directorio donde estamos parados). Pero cd
también puede interpretar la ubicación exacta o absoluta de un directorio. Por ejemplo:
$ cd /home/pao/Test
Algunos trucos
Muchas veces escribimos mal el nombre de un directorio o archivo, a veces son super largos o el path absoluto es enorme. Existen varios atajos para hacernos la vida más simple:
-
Tab
: La tecla Tab completa el nombre del archivo o directorio. Basta con escribir las primeras letras del nombre y luego con la tecla tab se termina de escribir automáticamente el nombre.
-
Ctrl + a
: Principio de línea. Se manda el cursos al principio de la línea de comando. También funciona la tecla Inicio. -
Ctrl + e
: Final de línea. Se manda el cursos al final de la línea de comando. O también la tecla Fin.
Manipulando archivos y directoios
-
mkdir
: Para crear directorios usamos el comandomkdir
(por supuesto de "make directory"):
$ mkdir Test2 $ ls Desktop Downloads Pictures Test Documents Music terminal.png Test2 $
La ubicación del nuevo directorio dependerá de la ubicación relativa o absoluta que le dimos. En este caso, se creará en el directorio donde estamos trabajando.
-
cp
: si quisiéramos copiar un archivo en otra ubicaación usamoscp
(de "copy"). Este comando necesita saber que copiar y donde copiarlo:cp [origen] [destino]
, por ejemplo:
$ cp [origen] [destino] $ cp terminal.png Test $ ls Test $ terminal.png
cp
tiene una flag -r
que permite copiar recursivamente un directorio y su contenido.
-
mv
: el comandomv
("move") permite mover un archivo (parecido alctrl+C
yctrl+V
en una interfáz gráfica). Pero también permite cambiarle el nombre a un archivo si los "movemos" en el mismo lugar:
$ mv [origen] [destino] $ mv Test/terminal.png Test/terminal2.png $ ls Test terminal2.png
-
rm
: si queremos borrar un archivo usamosrm
(de "remove"). Para borrar directorios podemos agregar una flag. Pero cuidado esta acción es irreversible. La terminal no tiene papelera y no existe elCtrl+z
, cuidado con con lo borran!
$ rm [fichero] $ rm Test/terminal2.png $ ls Test $
-
ls
: 'list', lista el contenido de un directorio (un directorio es el equivalente de 'carpeta' de Windows)
$ ls 20160324_bash.pdf install.inf prueba.bash Terminal.png test.bash $ ls -l total 244 -rw-r--r-- 1 lluis lluis 221654 Jun 6 10:49 20160324_bash.pdf -rw-rw-r-- 1 lluis lluis 328 Apr 25 14:53 install.inf -rwxr--r-- 1 lluis lluis 114 Jun 6 11:27 prueba.bash -rw-r--r-- 1 lluis lluis 11172 Apr 11 16:27 Terminal.png -rw-r--r-- 1 lluis lluis 4056 Jun 6 10:49 test.bash
Atributos de un archivo
Al hacer un list con ls -l
, nos aparecen la lista de elementos en el directorio con sus atributos:
-
ls
: lista el contenido de un directorio
$ ls -l [AtributosDueñx][AtributosGrupo][AtributosTodxs] [ID] [Dueñx] [Grupo] [Tamaño] [Fecha] [NombreFichero] total 244 -rw-r--r-- 1 lluis lluis 221654 Jun 6 10:49 20160324_bash.pdf -rw-rw-r-- 1 lluis lluis 328 Apr 25 14:53 install.inf -rwxr--r-- 1 lluis lluis 114 Jun 6 11:27 prueba.bash drwxr-xr-x 2 lluis lluis 4096 Jun 6 12:25 parTUXza -rw-r--r-- 1 lluis lluis 11172 Apr 11 16:27 Terminal.png -rwxr--r-- 1 lluis lluis 4056 Jun 6 10:49 test.bash
Por ejemplo, el archivo pdf 20160324_bash.pdf tiene los siguientes atributos:
-
-rw-r--r-- 1 lluis lluis 221654 Jun 6 10:49 20160324_bash.pdf
, fichero pdf
- -rw-: El dueño del archivo sólo puede leerlo y modificarlo.
- r--: El grupo sólo puede leerlo
- r--: Todo el mundo sólo puede leerlo
- lluis: Dueño del archivo
- lluis: Grupo del archivo
- 221654: Tamaño en bytes del archivo
- Jun 6 10:49: fecha de la última modificación del archivo
Otros archivos tiene permisos de ejecución, por ejemplo:
-
-rwxr--r-- 1 lluis lluis 4056 Jun 6 10:49 test.bash
: script de shell,-rwx
indica que sólo el dueño puede ejecutarlo. -
drwxr-xr-x 2 lluis lluis 4096 Jun 6 12:25 parTUXza
: directorio (drwx
), para linux, los directorios son ejectuables para todos!
Comodines
Los comodines son símbolos o expresiones que actual básicamente como cómodines y te permiten ahorrar tiempo. Por ejemplo *
funcionan como cualquier cantidad de caracteres:
$ cp *.png Test/
En este caso todos los archivos que terminen con ".png" serán copiados a la carpeta Test, sin importar que nombre tengan antes del .png.
Hay muchos otros, por ejemplo ?
es como el *
pero solo para un carácter. No es necesario aprenderlos a todos, es cuestión de práctica y a medida que los necesitamos.
Más recursos
Parte de este material está inspirado en la clase The Unix Shell de The Carpentries donde hay muchos ejemplos, ejercicios y clases más avanzadas. Es recomendable darle una mirada.
Ayuda
Es posible acceder a la ayuda de un comando con una flag específica -h --h --help
(esto depende del comando). O en algunos casos, también está disponible la documentación completa a la que se accede con `man`.
$ [comando] --h $ $ man [comando] $
Variables de sistema
El sistema operativo se configura a través de unas variables de sistema generales
-
$HOME:
Ubicación inicial al abrir una terminal cómo usuarie (/home/[usuarix]
) -
$PATH:
Directorios que ya están cargados automáticamente al abrir un terminal. Suelen ser directorios con aplicaciones, así no hace falta saber dónde se encuentran las aplicaciones. Por ejemplo:
/home/lluis/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games
-
$LD_LIBRARY_PATH:
Librerias cargadas en el sistema
Shell scripting
La shell es un programa que interpreta nuestras ordenes y las traduce en lenguaje computadora. Les usuaries acceden al kernel y a las componentes de la computadora a través de ella.
Esta shell permite la ejecución de scripts para automatizar esas tareas que sean repetitivas. Estos scripts se pueden programar en distintas shells. En esta introducción se dan detalles de bash:
bourn-again Shell (hay distitnas shells: csh, sh, ksh, ...). En estas shells se pueden utilizar todos los coreutils. Los scripts constituyen un lenguajde de programación interpreatado que es masivamente utilizando dentro del entorno linux
Los scripts de shell son programas ejecutables interpretados por el kernel. Deben tener permiso de ejecución para poder correr. Para cambiar los permisos u modos de un archivo o directorio se utiliza el comando chmod
("change mode" o cambiar modo):
$ chmod u+x [ScriptShell]
O bien directamente al llamar bash
(si el script es de bash)
$ bash [ScriptShell]
Este es el ejemplo más sencillo de script, con nombre hola.bash
(se elige la extensión .bash
, pero no es obligatorio)
#!/bin/bash echo "Hola mundo!!"
La primera línea indica que tipo de shell vamos a usar, al incluir esto no va a ser necesario usar el comando bash
.
- Al ejecutarse:
$ ./hola.bash Hola mundo!!
- Shell va a interpretar que queremos ejecutar el archivo porque usamos
./
seguido del nombre del archivo.
Conceptos básicos
Un script es básicamente un archivo de texto con sentencias u órdenes a ser interpretadas por una computadora. Pueden contener cualquier instrucción que ejecutaríamos manualmente nosotros (ej. python, modelos, ....).
Estos son algunos elementos básicos:
-
#
: carácter para comentarios, todo lo que va a la derecha no va a ser tenido en cuenta por la computadora. -
;
: carácter para concatenar líneas de código -
echo
: permite mostrar en la terminal cualquier cosa que pongamos a la derecha del comando. -
>
: captura la salida de un comando para dirigirla a algún destino (ej. archivo) creándolo si no existe -
>>
: captura la salida de un comando para dirigirla al final de algún destino (ej. archivo) -
|
: concatenación de comandos
variables
Se utilizan cómo $[NombreVariable]
o ${[NombreVariable]}
. Se asignan con '='
(sin espacios!!!)
#!/bin/bash number=3 #nueva variable echo "Numero: "${number} #quiero mostrar en la terminar el valor de "number"
Ejecutando
$ chmod u+x test.bash $ ./test.bash Numero: 3
Asignación de valores
Asignación de un valor después de ejecutar un comando (con ``
)
fecha=`date "+%Y/%m/%d"` #date permite manipular fechas y horas. echo "HOY: "${fecha}
Ejecutando
HOY: 2018/06/06
if: Condiciones
Al igual que otros lenguajes, bash permite usar control de flujo. Por ejemplo if
permite incluir una condición:
valor='Hola' if test ${valor} == 'Hola'; then echo "Hello !" else echo "Goodbye" fi
Ejecutando
Hello
while do: bucles
permite repetir un determinado número de veces una instrucción mientras se cumpla una determinada condición:
hoy=`date +%Y%m%d` echo "hoy: "${hoy} i=0 while test $i -le 10; do nuevodia=`date +%Y%m%d -d"${hoy} $i days"` echo "i: "$i" fecha:"${nuevodia} i=`expr $i + 1` done
Ejecutando
hoy: 20180611 i: 0 fecha:20180611 i: 1 fecha:20180612 i: 2 fecha:20180613 i: 3 fecha:20180614 i: 4 fecha:20180615 i: 5 fecha:20180616 i: 6 fecha:20180617 i: 7 fecha:20180618 i: 8 fecha:20180619 i: 9 fecha:20180620 i: 10 fecha:20180621
Pueden encontrar más ejemplos en IPSL boot camp Archivo:20160324 bash.pdf y sus ejemplos Archivo:test bash.doc (antes de utilizar, renombrar cómo test.bash
y darle atributos de ejecución)
También hay disponible un repositorio con una colección de scripts reales de Lluís Fita (CIMA):
$ git clone https://git.cima.fcen.uba.ar/lluis.fita/ShellScripts
cat: consulta de archivos
El comando cat
es muy útil y versátil a la hora de manejar archivos de texto.
Creación de un archivo
Se puede crear un archivo con contendio desde una script de la siguiente manera:
num=3 cat << EOF > nuevoArchivo.txt Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' El valor de num es ${num} EOF
Bolcado del contenido de un archivo
No vuelca del contenido del archivo en la terminal
$ cat nuevoArchivo.txt Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' El valor de num es 3
grep: búsqueda de patrones
El comando grep
nos permite buscar patrones dentro de archivos y devuelve la línea que coincide
$ grep valor nuevoArchivo.txt El valor de num es 3
con el flag -i
no distingue entre minúsculas/mayúsculas
$ grep A nuevoArchivo.txt Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' $ grep -i A nuevoArchivo.txt Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' El valor de num es 3
concatenación de comandos
El carácter |
se usa para concatenar comandos
cat nuevoArchivo.txt | grep -i A Todo lo que ese dentro antes de E O F sera escrito dentro de 'nuevoArchivo.txt' El valor de num es 3
AWK: lenguaje de programación
El lenguaje [AWK] sirve para procesar datos en archivos de texto
Por ejemplo, sumarle 4 al valor de num (que es la sexta palabra en la línea donde aparece 'num')
cat nuevoArchivo.txt | grep num | awk '{print $6 + 4}' 7
Entorno servidores/clústers
Los servidores y clúster de computación, son otras máquinas, con sus usuarios y entorno linux. Normalmente se encuentran conectadas a internet y se accede a estas máquinas de manera remota desde otra computadora o llamada "local"
Para acceder de manera remota es necesario tener un usuario y conocer el nombre de la máquina y su dominio.
Acceso
El acceso a los clúster de computación (HPC del Inglés) o servidores se realiza en la mayoría de los casos via ssh
$ ssh [NombreUsuarioenServidor]@[nombreServidor].[domino]
Por ejemplo, el CIMA dispone de un clúster de computación llamado hydra y con el domino cima.fcen.uba.ar
. Si Juan Perez quiere acceder a Hydra usa el siguiente comando (al apretar enter, el sistema te pide la clave pero no aparece ningún cursor):
$ ssh juan.perez@hhydra.cima.fcen.uba.ar juan.perez@hydra.cima.fcen.uba.ar's password: [juan.perez@hydra ~]$
- Una vex en el servidor/clúster le usuarie tiene un entorno linux estándard. Al trabajar en un espacio compartido es necesario tener cuidado ya que los cambios podrían afectar a otras personas.
- Para salir, se usa la instrucción
exit
[juan.perez@hydra ~]$ exit $
Copiado de ficheros
Para copiar archivos guardados en servidores se puede utilizar herramientas gráficas, pero la experiencia recomienda hacerlo desdel terminal. Para tal caso, existen las instrucciones scp
y rsync
(más potente y muy útil para sincronizar copias):
$ rsync [NombreUsuarixOrig]@[origen]:[fichero/directorio] [NombreUsuarixDest]@[destino]:[directorio]
-
[NombreUsuarixOrig]
: Nombre del usuarix en la máquina donde se encuentra el fichero o directorio a copiar -
[origen]
: nombre de la máquina y su doiminio ([NombreMaquina].[dominio]
) donde se encuentra el fichero o directorio -
[fichero/directorio]
: fichero o directorio a copiar -
[NombreUsuarixDest]
: Nombre del usuarix en la máquina donde se quiere copiar el fichero o directorio -
[destino]
: nombre de la máquina y dominio ([NombreMaquina].[dominio]
) a la cuál se quiere hacer la copia -
[directorio]
: nombre de directorio en la máquina destino donde se quiere hacer la copia
Cuando se quiere copiar, siempre nos pedirá la clave de acceso de la máquina remota.
El destino o el origen no pueden ser los dos remotos. Uno tiene que ser una máquina local. Cuando es la máqiuna local, no se indica [NombreUsuarx]@[maquina]
Si no se indica destino de la copia, se copia directamente en el ${HOME}
- Copia de un fichero local al $HOME de hydra
$ rsync documento.txt juan.perez@hydra.cima.fcen.uba.ar:
- Copia de un fichero de hydra del directorio
${HOME}/experimentos/WRFsensSFC/run/
a la máquina en local al directorio${HOME}/estudios/WRFsensSFC/simulacion/control
$ rsync juan.perez@hydra.cima.fcen.uba.ar:experimentos/WRFsensSFC/run/wrfout_d01_2002-12-01_00:00:00 estudios/WRFsensSFC/si mulacion/control