Slurm resursihaldur - Redigeerimiste ajalugu

Jj: /* Slurmi klustri paigaldus */

2020-08-03T13:09:15Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 13:09
143. rida:		143. rida:
	# sacctmgr -i add account test Cluster=cluster		# sacctmgr -i add account test Cluster=cluster
	# sacctmgr -i add user test Account=test		# sacctmgr -i add user test Account=test

			Kasutajale admin õiguste lisamiseks

			# sacctmgr modify user test set adminlevel=admin

	Kliendi käivitamine		Kliendi käivitamine

2020-08-03T09:15:47Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 09:15
14. rida:		14. rida:
	# munge - autentimiseks		# munge - autentimiseks
	# slurmctl - mis juhib selle küljes olevaid kliente		# slurmctl - mis juhib selle küljes olevaid kliente
	# ~~slurmdb~~ - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd		# slurmdbd - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd

	Munge paigaldamiseks Debianis		Munge paigaldamiseks Debianis

2020-08-03T09:01:03Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 09:01
82. rida:		82. rida:
	# systemctl start slurmdbd		# systemctl start slurmdbd

	Paigaldame slurmctrli		Paigaldame slurmctrli. See seadistuse osa on ühine nii peaserveril kui ka kliendil

	# apt-get install slurm-wlm		# apt-get install slurm-wlm
144. rida:		144. rida:
	# sacctmgr -i add user test Account=test		# sacctmgr -i add user test Account=test

	~~Testimiseks~~		Kliendi käivitamine

	$ srun ~~–ntasks~~=~~12 –partition~~=~~dungeon –label~~ /~~bin~~/~~hostname~~		# systemctl enable slurmd
			# systemctl start slurmd

			Testimiseks võib kasutada käsku

			$ srun uname -a

			===Lingid===

			https://southgreenplatform.github.io/trainings/hpc/slurminstallation/

			https://gist.github.com/asmateus/301b0cb86700cbe74c269b27f2ecfbef

			https://implement.pt/2018/09/slurm-in-ubuntu-clusters-pt1/

	===Tööde käivitamine===		===Tööde käivitamine===

2020-08-03T08:34:10Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 08:34
25. rida:		25. rida:
	# chown munge:munge /etc/munge/munge.key		# chown munge:munge /etc/munge/munge.key
	# chmod 400 /etc/munge/munge.key		# chmod 400 /etc/munge/munge.key

			See tekkinud fail tuleb kopeerida ka kõigisse klientidesse

			# scp /etc/munge/munge.key <node-user>@<node-ip>:/etc/munge/munge.key

	Munge käivitamine		Munge käivitamine
133. rida:		137. rida:
	# systemctl enable slurmctld		# systemctl enable slurmctld
	# systemctl start slurmctld		# systemctl start slurmctld

			Tekitame test clustri ning esimese kasutaja

			# sacctmgr -i add cluster cluster
			# sacctmgr -i add account test Cluster=cluster
			# sacctmgr -i add user test Account=test

	Testimiseks		Testimiseks

2020-08-03T08:25:50Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 08:25
128. rida:		128. rida:
	NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN		NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN
	PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP		PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP

			Slurmctrld käivitamiseks

			# systemctl enable slurmctld
			# systemctl start slurmctld

	Testimiseks		Testimiseks

2020-08-03T08:24:31Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 08:24
100. rida:		100. rida:
	ProctrackType=proctrack/pgid		ProctrackType=proctrack/pgid
	ReturnToService=0		ReturnToService=0
	# ~~TIMERS~~		#
			# Timers
	SlurmctldTimeout=300		SlurmctldTimeout=300
	SlurmdTimeout=300		SlurmdTimeout=300
113. rida:		114. rida:
	JobAcctGatherFrequency=30		JobAcctGatherFrequency=30
	JobAcctGatherType=jobacct_gather/linux		JobAcctGatherType=jobacct_gather/linux
			#
			# Logging
			DebugFlags=NO_CONF_HASH
	SlurmctldDebug=3		SlurmctldDebug=3
	SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log		SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log
119. rida:		123. rida:
	SlurmSchedLogFile= /var/log/slurm-llnl/slurmschd.log		SlurmSchedLogFile= /var/log/slurm-llnl/slurmschd.log
	SlurmSchedLogLevel=3		SlurmSchedLogLevel=3
	#
	~~DebugFlags=NO_CONF_HASH~~
	~~# LOGGING~~
	~~SlurmctldDebug=3~~
	~~SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log~~
	~~SlurmdDebug=3~~
	~~SlurmdLogFile=/var/log/slurmd.log~~
	JobCompType=jobcomp/none		JobCompType=jobcomp/none
	#		#
	# ~~COMPUTE NODES~~		# Compute nodes
	NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN		NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN
	PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP		PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP


	Testimiseks		Testimiseks

2020-08-03T08:20:42Z

Slurmi klustri paigaldus

@@ 42. rida: / 42. rida: @@
   innodb_log_file_size=64M
   innodb_lock_wait_timeout=900
 Logime sinna sisse ning tekitame Slurmi kasutaja
@@ 73. rida: / 78. rida: @@
   # systemctl start slurmdbd

2020-08-03T08:14:27Z

Slurmi klustri paigaldus

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 08:14
43. rida:		43. rida:
	innodb_lock_wait_timeout=900		innodb_lock_wait_timeout=900

	~~Logimesinna~~ sisse ning tekitame Slurmi kasutaja		Logime sinna sisse ning tekitame Slurmi kasutaja

	# CREATE USER 'slurm2'@'localhost' IDENTIFIED BY 'parool';		# CREATE USER 'slurm2'@'localhost' IDENTIFIED BY 'parool';
52. rida:		52. rida:
	# apt-get install slurmdb		# apt-get install slurmdb

	Tekitame ~~slurmdb~~ seadistusfaili /etc/slurm-llnl/slurmdbd.conf		Tekitame slurmdbd seadistusfaili /etc/slurm-llnl/slurmdbd.conf

	AuthType=auth/munge		AuthType=auth/munge
67. rida:		67. rida:
	SlurmUser=slurm		SlurmUser=slurm
	DebugLevel=1		DebugLevel=1

			Paneme slurmdbd käima

			# systemctl enable slurmdbd
			# systemctl start slurmdbd




	Testimiseks		Testimiseks

2020-08-03T08:12:16Z

Slurmi klustri paigaldus

@@ 14. rida: / 14. rida: @@
 # munge - autentimiseks
 # slurmctl - mis juhib selle küljes olevaid kliente
-# slurmdb - mis tegeleb kasutusstatistika kogumisega
+# slurmdb - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd
 Munge paigaldamiseks Debianis
@@ 31. rida: / 31. rida: @@
   # sudo systemctl start munge
 Testimiseks

2020-08-03T08:03:07Z

←Vanem redaktsioon		Redaktsioon: 3. august 2020, kell 08:03
10. rida:		10. rida:
	===Slurmi klustri paigaldus===		===Slurmi klustri paigaldus===

	~~Kõigile nodedele tuleb paigaldada slurmi pakett~~		Slurmi server koosneb kolmest suuremast komponendist

	# ~~aptitude install slurm~~-~~llnl~~		# munge - autentimiseks
			# slurmctl - mis juhib selle küljes olevaid kliente
			# slurmdb - mis tegeleb kasutusstatistika kogumisega

	~~Tekitame konfiguratsiooni. Slurm kasutab enda tööde kohta info salvestamiseks mysql andmebaasi~~		Munge paigaldamiseks Debianis

	~~Konfiguratsiooni kontrollimiseks~~		# apt-get install libmunge-dev libmunge2 munge

	~~# scontrol show daemons~~		Munge võtme loomine

	~~Slurm kasutab autentimiseks~~ munge ~~nimelist deemonit~~. ~~Kopeeri~~ /etc/munge/munge.key ~~igasse nodesse ja stardi slurm teenus~~		# sudo dd if=/dev/urandom bs=1 count=1024 > /etc/munge/munge.key
			# chown munge:munge /etc/munge/munge.key
			# chmod 400 /etc/munge/munge.key

	~~# /etc/init.d/slurm-llnl start~~		Munge käivitamine

	~~Stardi~~ munge		# sudo systemctl enable munge
			# sudo systemctl start munge

	~~# /etc/init.d/munge start~~

	Testimiseks		Testimiseks