Nutzeranleitung Fortgeschrittene (deutsche Version)

Zielgruppe: Fortgeschrittene Nutzer des Phoenix-Clusters

Kompilieren

Problem: Das Kompilieren auf dem Phoenix-Cluster klappt nicht, z.B. wenn gegen eine Bibliothek im Modul-System gelinkt wird (OpenCV).

Dies kann daran liegen, dass viele Bibliotheken (Libraries) mit dem optimierten Intel Compiler kompiliert wurden. Denn viele der installierten Bibliotheken sind mit dem neuesten Intel Compiler (icc) mit AVX 2 Optimierungen kompiliert.

In diesem Fall kann es daher helfen, den Intel Compiler (icc) zu verwenden.

Das kann im Idealfall hohe Leistungszuwächse - 50% und mehr - z.B. auf neuen Xeon CPUs bringen, und meistens läuft Code, der mit dem icc kompiliert wird, schneller. Gerade die auto vectorization funktioniert so gut, da der icc von sich aus Schleifen umwandelt, um die CPU Eigenschaftens besser nutzen zu können.

Das kann aber dazu führen, dass der GNU Compiler (gcc) Probleme mit Bibliotheken hat, die für den Intel Compiler stark optimierten Code nutzen. Deshalb muss der Kommandozeile/Shell mitgeteilt werden, dass sie den icc (bzw. icpc für C++) statt den gcc nutzen soll, falls dieses Problem auftritt.

Das tut man mit folgenden Befehlen:

module load intel-studio-2019
source /cluster/share/intelenv.sh

Anschliessend muss, wie üblich, der Befehl

cmake

ausgeführt werden.

Mehr Informationen, insbesonderse auch für in Fortran geschrieben Code, findet man unter: https://software.intel.com/en-us/articles/performance-tools-for-software-developers-building-hdf5-with-intel-compilers

Wichtiger Hinweis

: Beim Fortan Compiler von Intel (ifort) darf unter Standard-Einstellungen Probleme eine Zeile maximal 132 Zeichen umfassen!.

GLIBC

Um neuere Versionen von glibc zu verwenden ist es leider nicht möglich einfach das Modul zu laden, statt dessen werden dem Compiler Flags übergeben, mit denen die Pfade für das Finden der Bibliotheken sowie des Loaders der dynamischen Bibliotheken gesetzt werden. Hier ein kurzes Beispiel:

g++ -o My_Program -Wl,--rpath=/cluster/lib/glibc/2.29/lib -Wl,--dynamic-linker=/cluster/lib/glibc/2.29/lib/ld-linux-x86-64.so.2 main.cpp

Gaussview

Gaussview es zu nutzen muss wie folgt vorgegangen werden. Via ssh -X für eine grafische Oberfläche auf Phoenix einloggen. Dann einen Visualisierungsknoten allokieren. Dann den Namen des allokierten Knotens in Erfahrung bringen und sich auf diesem Knoten einloggen. Dort dann gaussview mit gv starten.

ssh -X user@phoenix.hlr.rz.tu-bs.de
sbatch gaussview.job
    Submitted batch job 100990
squeue | grep 100990
    100990       vis gaussvie raskrato  R       0:14      1 vis01
ssh -X vis01
gv

Die Jobfile zum Allokieren eines Visualisierungsknoten.

gaussview.job

#!/bin/bash -l

#SBATCH --partition=vis
#SBATCH --nodes=1
#SBATCH --time=1:00:00
#SBATCH --job-name=gaussview
#SBATCH --ntasks-per-node=20

module load software/molecules/gaussian
sleep 1h

Python Module

Auf dem Cluster sind eine Reihe von Python Module bereits vorinstalliert. Diese können eingesehen werden, wenn man mit python2 oder python3 deren „Interpreter“ betritt und dort die folgende Anweisung help(„modules“) ausführt.

Sollte man ein Modul benötigen, dass dort nicht aufgeführt ist, gibt es 2 Möglichkeiten. Sollten sie Nachweisen können, dass eine große Nutzergruppe Bedarf an diesem bestimmten Modul hat, so wenden sie sich an das Service-Team. Da es allerdings zu aufwendig wäre und den Betrieb stören würde das gesamte Cluster ständig mit neuen Python-Packeten zu befüttern, müssen sie ansonsten auf virtuelle Umgebungen zurückgreifen.

Für Python2 gestaltet sich dies relativ einfach:

virtualenv venv //Erstellt im aktuellen Arbeitsverzeichnis einen Ordner mit dem Namen "venv", in dem sich eine leere virtuelle Pythonumgebung befindet.
source venv/bin/activate //Damit wird die Python-Umgebung geladen, dies kann auch in einem Job-File gemacht werden.
deactivate //Damit verlässt man die aktuelle Pyton-Umgebung.

Solange man sich in der Python Umgebung befindet, wird dies durch ein Voranstellen ihres Names in der Kommandozeile verdeutlicht. Das sieht dann z.B. so aus:

(venv)[testuser@login01 ~]

In der virtuellen Umgebung kann man sich nun nach herzenslust mittels pip jedes Modul beschaffen. Sollte man keine Verwendung mehr für eine Umgebung haben, lässt sie sich einfach durch das Löschen des Ordners entfernen.

Für Python3 muss man aktuell einen kleinen Umweg gehen, bevor man virtuelle Umgebungen anlegen kann:

module load python/3.7 
python3 -m pip install --user virtualenv //Hiermit wird virtualenv für sie als Nutzer installiert ohne Konflikte zu Python2. Dies muss nur einmal gemacht werden.
python3 -m virtualenv venv //Damit stellen sie sicher, dass Python3 in der virtuellen Umgebung eingerichtet wird.

Wir hoffen mit dem nächsten Update von Python, diesen Schritt obsolet zu machen.

Sie können natürlich fragen, wieso sie nicht immer pip install –user verwenden, um sich virtuelle Umgebungen zu sparen. Und in der Regel haben sie Recht, aber es gibt immer wieder Konflikte zwischen verschiedenen Modulen und so garantieren sie, dass sie für jedes Projekt eine konfliktfreie Umgebung schaffen können.

Zum Schluss noch eine Anmerkung zu Python-Bibliotheken, die mit C-Code daherkommen: Der Intel-Kompiler wird von pip nicht akkzeptiert. Stattdessen laden sie daher bitte den gcc-Compiler über das entsprechende Modulefile „comp/gcc/8.3.0“ oder welche Version sie auch immer verwenden möchten.

hlr/phoenix/nutzeranleitung_fortgeschrittene.txt · Zuletzt geändert: 2019/08/05 12:34 von jancschm
Gauß-IT-Zentrum