servidores - Historial de revisiones

Lluis.fita: /* Sistema de colas */

2024-06-04T18:48:04Z

Sistema de colas

← Revisión anterior		Revisión del 18:48 4 jun 2024
Línea 131:		Línea 131:

	[[File:Paralelizacion.pdf]]		[[File:Paralelizacion.pdf]]

			Si bien un servidor puede tener múltiples procesadores, todes les usuaries, acceden a él, a través de un mismo acceso (ej. <code>hydra</code> en el CIMA). Esta máquina de acceso, maneja todo el servidor (colas, libreriías, compiladores, paralelización, ...). Si les usuaries ejecutan muchos programas en este acceso, relentizan su funcionamento, afectando a la totalidad del servidor.

	Un gestor de colas nos garantiza:		Un gestor de colas nos garantiza:
Línea 150:		Línea 152:

	[[File:SistemaColas.pdf]]		[[File:SistemaColas.pdf]]

			== python ==
			Mención especial para python, puesto que cada vez más existen paquetes paralelizados. Dicha paralelización está embebdia y el usuarie no suele prestar mucha atención a su configuración. En la mayoría de los casos (ej. dask), dicha paralelización está basada en ''threads'' (memoria compartida). Si no se configura, la script de python se ejectua en todos los ''cores'' disponibles.

			Así que para evitar problemas con el equipo de entrada y manejo del servidor, las scripts de python también se tienen que ejecutar via una script de colas y nunca desde un entorno de programación (ej. spyder).

Lluis.fita: /* Sistema de colas */

2024-06-03T15:59:07Z

Sistema de colas

← Revisión anterior		Revisión del 15:59 3 jun 2024
Línea 128:		Línea 128:

	= Sistema de colas =		= Sistema de colas =
	Todo trabajo en una máquina en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas. Un gestor de colas nos garantiza:		Todo trabajo en una máquina en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas. Esto incluye desde un modelo a una script de shell/python/...

			[[File:Paralelizacion.pdf]]

			Un gestor de colas nos garantiza:
	* Uso igualitario entre usuaries		* Uso igualitario entre usuaries
	* Uso respetuoso		* Uso respetuoso

Lluis.fita: /* Sistema de colas */

2024-06-02T21:45:15Z

Sistema de colas

← Revisión anterior		Revisión del 21:45 2 jun 2024
Línea 145:		Línea 145:
	Hay distintos gestores de colas: [https://slurm.schedmd.com/documentation.html SLURM], [https://en.wikipedia.org/wiki/Portable_Batch_System PBS] (versión libre no mantenida), ...		Hay distintos gestores de colas: [https://slurm.schedmd.com/documentation.html SLURM], [https://en.wikipedia.org/wiki/Portable_Batch_System PBS] (versión libre no mantenida), ...

	[[File: SistemaColas.pdf]]		[[File:SistemaColas.pdf]]

Lluis.fita: /* Sistema de colas */

2024-06-02T21:42:40Z

Sistema de colas

← Revisión anterior		Revisión del 21:42 2 jun 2024
Línea 135:		Línea 135:
	Al ser un espacio de trabajo compartido, se tiene que garantizar que ningún usuarie entorpezca el trabajo de les otres. Si bien el servidor suele tener múltiple procesadores y gran memoria, los recursos siguen siendo limitados y su uso no puede ser un ''salvaje oeste''. Para evitar esto se utiliza el servidor de colas.		Al ser un espacio de trabajo compartido, se tiene que garantizar que ningún usuarie entorpezca el trabajo de les otres. Si bien el servidor suele tener múltiple procesadores y gran memoria, los recursos siguen siendo limitados y su uso no puede ser un ''salvaje oeste''. Para evitar esto se utiliza el servidor de colas.

	El servidor de colas trabaja a partir del manejo de ''trabajos de colas''. Estos ''trabajos'' contienen el programa que el usuario quiere utilizar y los recursos necesarios (memoria, cantidad de procesadores, tiempo de ejecución, ...) ~~para poder ejecutarse.~~ El gestor de colas recibe ~~los pedidos y~~ determina su ejecución ~~si hay~~ los recursos ~~suficientes.~~		El servidor de colas trabaja a partir del manejo de ''trabajos de colas''. Estos ''trabajos'' contienen el programa que el usuario quiere utilizar y los recursos necesarios (memoria, cantidad de procesadores, tiempo de ejecución, ...) el flujo de trabajo es el siguiente:
			# El usuarie manda el trabajo de cola
			# El gestor de colas recibe el pedido
			# El gestor de colas determina:
			## ''ejecución'': Si el servidor tiene los recursos solicitados por el usuarie libres
			## ''espera'': Si el servidor no tiene los recursos solicitados, el tabajo se pone en modo esper (se manda ala ''cola'')
			# El gestor de colas termina el trabajo si trasnscurrido el tiempo aún no terminado

	Hay distintos gestores de colas: [https://slurm.schedmd.com/documentation.html SLURM], [https://en.wikipedia.org/wiki/Portable_Batch_System PBS] (versión libre no mantenida), ...		Hay distintos gestores de colas: [https://slurm.schedmd.com/documentation.html SLURM], [https://en.wikipedia.org/wiki/Portable_Batch_System PBS] (versión libre no mantenida), ...

			[[File: SistemaColas.pdf]]

Lluis.fita: /* Sistema de colas */

2024-06-02T21:24:36Z

Sistema de colas

← Revisión anterior		Revisión del 21:24 2 jun 2024
Línea 128:		Línea 128:

	= Sistema de colas =		= Sistema de colas =
	Todo trabajo en una ~~máqiuna~~ en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas		Todo trabajo en una máquina en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas. Un gestor de colas nos garantiza:
			* Uso igualitario entre usuaries
			* Uso respetuoso
			* Uso eficiente del servidor

			Al ser un espacio de trabajo compartido, se tiene que garantizar que ningún usuarie entorpezca el trabajo de les otres. Si bien el servidor suele tener múltiple procesadores y gran memoria, los recursos siguen siendo limitados y su uso no puede ser un ''salvaje oeste''. Para evitar esto se utiliza el servidor de colas.

			El servidor de colas trabaja a partir del manejo de ''trabajos de colas''. Estos ''trabajos'' contienen el programa que el usuario quiere utilizar y los recursos necesarios (memoria, cantidad de procesadores, tiempo de ejecución, ...) para poder ejecutarse. El gestor de colas recibe los pedidos y determina su ejecución si hay los recursos suficientes.

			Hay distintos gestores de colas: [https://slurm.schedmd.com/documentation.html SLURM], [https://en.wikipedia.org/wiki/Portable_Batch_System PBS] (versión libre no mantenida), ...

Lluis.fita: /* Distribución espacios de almacenaje */

2024-06-02T21:12:34Z

Distribución espacios de almacenaje

← Revisión anterior		Revisión del 21:12 2 jun 2024
Línea 118:		Línea 118:
	! nombre !! capacidad !! copia seguridad !! limite tiempo		! nombre !! capacidad !! copia seguridad !! limite tiempo
	\|-		\|-
	\| <code>$HOME</code> \| baja \| no \| no		\| <code>$HOME</code> \|\| baja \|\| no \|\| no
	\|-		\|-
	\| <code>$WORKDIR</code> \| media \| sí \| no		\| <code>$WORKDIR</code> \|\| media \|\| sí \|\| no
	\|-		\|-
	\| <code>$SCRATCHDIR</code> \| alta \| no \| sí		\| <code>$SCRATCHDIR</code> \|\| alta \|\| no \|\| sí
	\|-		\|-
	\| <code>$STOREDIR</code> \| muy alta \| no \| no		\| <code>$STOREDIR</code> \|\| muy alta \|\| no \|\| no
	\|}		\|}

	= Sistema de colas =		= Sistema de colas =
	Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas		Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas

Lluis.fita: /* Distribución espacios de almacenaje */

2024-06-02T21:11:51Z

Distribución espacios de almacenaje

← Revisión anterior		Revisión del 21:11 2 jun 2024
Línea 116:		Línea 116:
	{\| class="wikitable" style="margin:auto"		{\| class="wikitable" style="margin:auto"
	\|-		\|-
	! nombre ! capacidad ! copia seguridad ! limite tiempo		! nombre !! capacidad !! copia seguridad !! limite tiempo
	\|-		\|-
	\| <code>$HOME</code> \| baja \| no \| no		\| <code>$HOME</code> \| baja \| no \| no
Línea 126:		Línea 126:
	\| <code>$STOREDIR</code> \| muy alta \| no \| no		\| <code>$STOREDIR</code> \| muy alta \| no \| no
	\|}		\|}


	= Sistema de colas =		= Sistema de colas =
	Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas		Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas

Lluis.fita en 21:11 2 jun 2024

2024-06-02T21:11:25Z

@@ Línea 50: / Línea 50: @@
 == Servidor de cálculo ==
-Estos servidores suelen tener una jerarquía de directorios cada uno de los cuáles con distintas características y propósitos:
+Estos servidores suelen tener una jerarquía de directorios cada uno de los cuáles con distintas características y propósitos.
 == librerías sistema ==
@@ Línea 111: / Línea 107: @@
 = Distribución espacios de almacenaje =
 En un servidor, al ser un espacio compartido, es habitual que muchas de las componentes sean también compartidas.
 = Sistema de colas =
 Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas

Lluis.fita: /* Distribución espacios de almacenaje */

2024-06-02T21:05:15Z

Distribución espacios de almacenaje

← Revisión anterior		Revisión del 21:05 2 jun 2024
Línea 110:		Línea 110:

	= Distribución espacios de almacenaje =		= Distribución espacios de almacenaje =
			En un servidor, al ser un espacio compartido, es habitual que muchas de las componentes sean también compartidas.

	= Sistema de colas =		= Sistema de colas =
	Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas		Todo trabajo en una máqiuna en remoto y multi-procesador '''tiene que''' ser ejecutado dentro de un trabajo del servidor de colas

Lluis.fita: /* Trabajo desde terminal */

2024-06-02T20:45:12Z

Trabajo desde terminal

← Revisión anterior		Revisión del 20:45 2 jun 2024
Línea 89:		Línea 89:

	= Trabajo desde terminal =		= Trabajo desde terminal =
			En un servidor lo más común es trabajar desde la terminal. Al principio puede ser bastante dificultoso. La edición de archivos de texto (ej. scripts y códigos) se tiene que hacer con editores de terminal (ej. [https://www.vim.org/ vim], [https://www.nano-editor.org/ nano], [https://www.gnu.org/software/emacs/ emacs], ...).

			El uso del entorno gráfico está altamante desaconsejado, puesto que el ancho de banda con el servidor, se llena con datos innecesarios, demorando la velocidad de trabajo y la eficiencia.

			== escritura de códigos ==
			Una forma muy habitual de trabajar, es escribir los códigos a través de un repositorio. Esto nos facilita 2 cosas:
			# Copia de seguridad garantizada
			# Rápida y fácil actualización de códigos entre múltiplas computadoras

			El desarrollo más grande de una script, se puede realizar desde una máquina en local (teniendo una copia en local reducida del trabajo a realizar). Una vez satisfechos, se traslada el trabajo al servidor donde se realizan los últimos retoques.

			Por ejemplo, para post-procesar con python una salida de un modelo se puede trbajar:
			# Descarga en local de un par de archivos pequeños
			# Preparación del script en la máquina en local con los archivos descargados (ej. con spyder)
			# Actualización del repositorio una vez terminado
			# Ejecución de la script en el servidor desde la terminal
			<PRE style="shell">
			$ python3 [script].py
			</PRE>

	= Distribución espacios de almacenaje =		= Distribución espacios de almacenaje =