Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Ãœberarbeitung
Nächste Überarbeitung
Vorhergehende Ãœberarbeitung
Nächste Überarbeitung Beide Seiten der Revision
hlr:phoenix:nutzeranleitung [2020/04/09 15:04]
raskrato [Starting Ansys jobs]
hlr:phoenix:nutzeranleitung [2020/06/04 10:45]
raskrato [Ansys Job starten]
Zeile 287: Zeile 287:
  
 Der Lizenzcheck funktioniert so, dass vorher die angegebene Anzahl an Lizenzen geprüft werden und je nachdem das Programm weiterlaufen kann, oder nach einer Stunde der Check nochmal durchgeführt wird, wenn nicht genug Lizenzen vorhanden sein sollten. Der Lizenzcheck funktioniert so, dass vorher die angegebene Anzahl an Lizenzen geprüft werden und je nachdem das Programm weiterlaufen kann, oder nach einer Stunde der Check nochmal durchgeführt wird, wenn nicht genug Lizenzen vorhanden sein sollten.
 +
 +==== Ansys für mechanische Simulationen ====
 +
 +<​code>​
 +#!/bin/bash -l
 +#
 +### Grosse Knoten mit 256GB RAM (fat) SBATCH --partition=fat
 +### Kleinere Knoten mit 64GB RAM (standard) SBATCH --partition=standard
 +### Die Anzahl der Kerne ist bei beiden Knotentypen (fat und standard) gleich, naemlich 20
 +### Es gibt insgesamt 8 Knoten (fat) mit jeweils 256GB RAM
 +### ####### Nehmt bitte grundsaetzlich immer zuerst die Standardknoten !!!!! #######
 +###
 +### Variable NUMPROC = (#SBATCH --nodes=3) x (SBATCH --ntasks-per-node=20) = 60
 +
 +#SBATCH --partition=standard
 +#SBATCH --nodes=1
 +#SBATCH --time=10:​00:​00
 +#SBATCH --job-name=Tensiletest
 +#SBATCH --ntasks-per-node=20
 +
 +
 +#######################​
 +#### HIER VARIABEL ####
 +#######################​
 +export working_dir=/​beegfs/​work/​y0090888/​cfx
 +#################​
 +NUMPROCS=20
 +#################​
 +cd $working_dir
 +
 +export TMI_CONFIG=/​cluster/​tools/​ansys_2018/​ansys_inc/​v182/​commonfiles/​MPI/​Intel/​5.1.3.223/​linx64/​etc/​tmi.conf
 +export I_MPI_FABRICS=shm:​tmi
 +export I_MPI_FABRICS_LIST=tmi
 +export I_MPI_FALLBACK=0
 +export I_MPI_TMI_PROVIDER=psm2
 +#export I_MPI_DEBUG=5
 +
 +module load software/​ansys/​19.2
 +
 +
 +# Befehle:
 +# Ausführung der Rechnung im Arbeitsverzeichnis:​ cfx5solve -batch -chdir $working_dir -single -verbose ​
 +# Def-File: -def "​filename.def"​
 +# kein Plan was die alle machen (diverse Clusterbefehle),​ war copy-paste: -start-method 'Intel MPI Distributed Parallel'​ -par -part $NUMPROCS -par-host-list $ALLMACHINES -part-coupled -part-large -part-mode orcb -priority 0 -size 1.4 -size-part 1.4
 +# Benennung des res-Files: -fullname "​filename"​
 +# andere Ergebnisdatei als Initialisierung verwenden: -cont-from-file "​filename.res"​
 +# Vorgabe eines ccl-Files für Änderungen im def-File (z.B. andere Randbedingung,​ Druck, etc.): -ccl "​filename.ccl"​
 +#
 +### komplettes Bsp:​cfx5solve -batch -chdir $working_dir -single -verbose -def V3_4_closed.def -ccl FPR_1_269_3ms.ccl -fullname V3_4_closed_FPR_1_269_3ms -cont-from-file V3_4_closed_FPR_1_256.res -start-method 'Intel MPI Distributed Parallel'​ -par -part $NUMPROCS -par-host-list $ALLMACHINES -part-coupled -part-large -part-mode orcb -priority 0 -size 1.4 -size-part 1.4
 +
 +ansys192 -B -batch -chdir $working_dir -single -verbose -i tensiletest.dat \ -start-method 'Intel MPI Distributed Parallel'​ -par -part $NUMPROCS -par-host-list $ALLMACHINES -part-coupled -part-large -part-mode orcb -priority 0 -size 1.4 -size-part 1.4
 +
 +
 +</​code>​
  
  
Zeile 375: Zeile 429:
 file.close file.close
 </​code>​ </​code>​
 +
 +===== Lehre =====
 +
 +Für die Lehre existiert eine Queue: teaching und in Zukunft teaching_gpu. Diese Knoten verfügen nicht über eine funktionierende Infinity Band Verbindung sondern nutzen klassisches Ethernet für die MPI Kommunikation. Daher muss in der Jobfile angegeben werden, dass Ethernet genutzt werden soll.
 +
 +<​code>​NUMBER_OF_CPU_CORES_TO_USE=16
 +mpirun -n $NUMBER_OF_CPU_CORES_TO_USE --mca btl tcp,sm,self --mca btl_tcp_if_include eth0  /​home/​your_name/​your_binary
 +</​code>​
 +
 +Beispiel Jobfile:
 +
 +<​code>#​!/​bin/​bash -l
 +
 +#SBATCH --partition=visalt
 +#SBATCH --nodes=2
 +#SBATCH --time=1:​00:​00
 +#SBATCH --job-name=nearest
 +#SBATCH --ntasks-per-node=8
 +#SBATCH --exclude=visalt01
 +
 +module load mpi/​openmpi/​2.1.0/​gcc comp/​gcc/​6.3.0
 +mpirun -n 16  --mca btl tcp,sm,self --mca btl_tcp_if_include eth0  /​home/​raskrato/​alt/​visalt/​ptest</​code>​
 +
  
  
hlr/phoenix/nutzeranleitung.txt · Zuletzt geändert: 2023/09/05 18:08 von matfranz
Gauß-IT-Zentrum