Home | deutsch  | Legals | Data Protection | Sitemap

Tiger Team Projects

The following enumeration provides an overview of collaborations between members of the bwHPC-C5 team and scientists, i.e. tiger teams. To apply for support by a tiger team, click here.

2018

Remote Visualisierung für Simulationen aus der Mikrosystemtechnik

Im Rahmen des Tiger Teams erfolgten Konsultationen mit der Arbeitsgruppe von Prof. Lara Pastewka (Professur für Simulation am Institut für Mikrosystemtechnik). Im Mittelpunkt der Betrachtungen stand der Anwendungsfall “molecular visualization” und mit “ovito” und “paraview” zwei populäre Tools der Arbeitsgruppe. Die speziellen Herausforderungen der Gruppe bestehen in der erheblichen Datenmenge pro Datensatz, die ein Umkopieren zur Visualisierung insbesondere für die schnellen Gewinnung eines Überblicks sehr unattraktiv machen.

Zur Realisierung werden zwei Use-Cases in Betracht gezogen: Remote-Rendering von wissenschaftlichen Anwendungen innerhalb und außerhalb von Desktop-Ansätzen, sowie begleitende Experimente zu Remote-Desktop oder Remote-Single-Application im Zusammenhang mit 3D-Beschleuniger-Hardware und Video-Stream-Encoder. Dabei wurden in gemeinsamen Treffen mit den Anwendern Docker-Images erstellt und die notwendigen Bausteine für die Remote-Visualisierung diskutiert.

Zur Evaluation möglicher Hardware eines speziellen Cloud- oder HPC-Knotens (Server mit einer oder mehreren GPUs) wurden zwei Varianten, eine Server- und eine Desktop-Konfiguration evaluiert. Die Desktop-Karte wurde wegen einiger spezieller Eigenschaften und des deutlich günstigeren Preisrahmens ebenfalls in Betracht gezogen und als Vergleichspunkt eingesetzt. Dieses sollte zudem beim Thema Dimensionierung helfen als auch zur Verifikation von Ergebnissen dienen. Leider stand (vorerst) hierfür nur Nvidia-Hardware zur Verfügung, da es bisher größere Schwierigkeiten gab, während der aktuellen Projektlaufzeit geeignete AMD-Hardware zu beschaffen. Im Augenblick wird an der Definition eines geeigneten Visualisierungsknotens gearbeitet, welcher in weiteren Schritten in den bwForCluster NEMO integriert werden soll.

Mitglieder des Tiger-Teams: Lars Pastewka (IMTEK), Johannes Hörmann (IMTEK), Oleg Zharkov (ViCE), HPC Kompetenzzentrum ENM

Status: in Bearbeitung.


2017

Computation of large problems with STATA

Scientists experience difficulties on bwHPC clusters for large datasets or large problem sizes. In one case, an optimization run exceeded the maximal permissible wall clock time. To solve this we investigated ways to save intermediate results by means of STATA tools and reuse them in following jobs. In an other case with large data sets we could identify the node memory limit as cause for job failure. Using nodes with more memory (more than 1TB) we could solve this issue.

Members of the Tiger-Team: Jonathan Eklund (Uni Tübingen, Prof. Dr. Georg Wamser, Lehrstuhl für Finanzwissenschaft, VWL), Leo Schmallenbach (Studies on Team Diversity, Uni Mannheim, Prof. Dr. Karin Hoisl, Lehrstuhl für Organisation und Innovation, BWL), HPC Competence Center MLS&WISO (Uni Mannheim)

Status: finished.


Optimierung von pyRed/Kira für HPC-Maschinen

Ziel des Projekts ist die Verbesserung von Algorithmen zur Vereinfachung von Feynman-Integralen, die in Präzisionsrechnungen in Quantenfeldtheorien auftreten, und deren Implementierung im Computerprogramm pyRed/Kira. Dazu müssen große lineare Gleichungssysteme (O(10^9) Gleichungen) gelöst werden, die auf Grund ihrer Struktur und der dynamisch zur Laufzeit festzulegenden Randbedingungen Techniken erfordern, die Standard-Software für lineare Algebra nicht bietet. Um einen effizienten Lösungsweg zu finden, wird das System zuerst mittels modularer Arithmetik analysiert. Dies ist wiederum nur effizient möglich, wenn genügend Arbeitsspeicher zur Verfügung steht, typischerweise einige 100 GB. Ein Ziel, das erreicht wurde, ist die Optimierung des Algorithmus für Multi-Threading auf vielen (z.B. 20) CPU-Kernen. Dazu musste das Verhalten des Codes auf entsprechenden Maschinen intensiv untersucht werden. pyRed/Kira steht nun als Open Source-Software zur Verfügung und erreicht um eine Größenordnung bessere Performance als vergleichbare Programme.

Da die Laufzeit für komplexe Anwendungen oftmals einige Wochen beträgt, ist die Implementierung eines “Checkpointing-Systems” für HPC-Cluster mit Laufzeitlimits ein weiteres Ziel. Dazu wurden einige Programmkomponenten so weit verbessert, dass ein Checkpointing nun nur noch in der Rücksubstitution des Gauss-Algorithmus notwendig ist, was durch eine Datenbank mit Transaktionen erreicht wird. Die Arbeiten am Checkpointing sind nahezu abgeschlossen. Da diese Maßnahmen den Speicherverbrauch signifikant erhöht haben, sind weitere Arbeiten notwendig und es ist noch nicht abzusehen, ob unsere geplanten Projekte mit einem Speicherlimit von 512 GB abgeschlossen werden können.

Mitglieder des Tiger Teams: Stefan Dittmaier, Philipp Maierhöfer, HPC Kompetenzzentrum ENM

Status: in Bearbeitung.


Practical course “Design of proteins”

In diesem Praktikum wurden Masterstudierenden der Technischen Biologie Grundlagen molekularer Simulationen mit Gromacs näher gebracht. Anhand von realistischen Individualprojekten konnten sich die Studierenden erarbeiten, wie man mit Gromacs ein Simulationssystem aufsetzt, equilibriert und schlussendlich analysiert. Eines der Ziele des Kurses war die Verdeutlichung der Chancen und Limitierungen moderner Proteinsimulationen. Durch die Durchführung der Rechnungen auf dem BinAC konnte ein ausgesprochen realistischer Eindruck einer virtuellen Arbeitsumgebung vermittelt werden.

Mitglieder des Tiger-Teams: Technische Biochemie, Universität Stuttgart; High Performance and Cloud Computing Group, IT Center, Universität Tübingen

Status: abgeschlossen.


Installation von Bioinformatik-Software

Im März 2017 haben Rainer Rutka (Universität Konstanz) und Jens Krüger (Universität Tübingen) einen Bioinformatik-Workshop in Konstanz durchgeführt. Dieser war sehr gut besucht und brachte viele neue Benutzer auf den bwForCluster BinAC. Die meisten Anwender kamen aus den Fachbereichen Biologie, Informatikwissenschaften und Physik. Im Laufe des Workshops konnten die Besucher eine Liste mit Softwarepaketen, die zur Installation auf dem BinAC-Cluster vorgesehen oder bereits installiert waren, mit ihren Wünschen ergänzen. Schwerpunktmäßig kamen die meisten Anforderungen aus dem Fachbereich Biologie um die Gruppe Wikelski und dem Max-Planck-Institut für Ornithologie.

In darauf folgenden Monaten wurde entsprechend der Wunschliste eine große Anzahl an neuen Software-Modulen oder Updates bestehender Versionen (ca. 35) auf dem bwForCluster BinAC installiert. Bei vielen Software-Paketen wurde erstmalig eine MPI-Funktionalität integriert. Die neu installierten Software-Module wurden in Zusammenarbeit mit den Mitgliedern des Fachbereichs getestet.

Mitglieder des Tiger-Teams: Robert Kraus, Elinor Jax, Iker Irisarri, Gisela Gkopp, Marielle vanToor, Universität Konstanz; Rainer Rutka, Universität Konstanz

Status: abgeschlossen.


Wave optic simulations using COMSOL and MATLAB with distributed memory

The goal of this computational project was the optimization of a micro-optical device. An optical model was implemented in COMSOL using the wave optics module and the frequency domain interface, which solves the electric field that a light source elicits inside an optical structure. In the end the optimization had to be controlled with an optimization algorithm and an objective function implemented in MATLAB. MATLAB calls COMSOL in an optimization loop and receives the results to find the best optical design.

Several opportunities were investigated to implement the interaction of the two programs on the bwForCluster NEMO and to distribute the calculation over multiple nodes. As a boundary condition, only one license of the floating network licenses of COMSOL could be used during the optimization step. However, the availability of this license was not guaranteed for subsequent requests, i.e. releasing the license and reacquiring it did not always succeed.

To circumvent this problem, a for-loop of job submissions via a shell script was used. This solution submited a COMSOL and a MATLAB job per iteration. A job array could not be used because the individual jobs interact with each other. The submission of multiple jobs slowed down the calculations. Therefore, in a second step, the individual iterations were consolidated into a for-loop within a single job submission and variables were passed to the job environment to take the dependencies into account.

As a final optimization, the control loop of the NEMO job submission was parametrized with the nodes and number of cores. COMSOL was called in a loop by MATLAB and started on the cluster each time. This variant has the advantage of controlling everything with the MATLAB job and saving computational time as well as conserving the COMSOL network license during the time of calculation.

Members of the Tiger Team: IMTEK - Laboratory for Biomedical Microtechnology (Marie Theresa Alt, Marta Timon), HPC Competence Center ENM (Freiburg)

Status: finished.


NEST on NEMO

The NEST simulator is a standard neuroscience software application (open source) to create and simulate extensive and biologically realistic neural networks. NEST scales from desktops with few cores to supercomputers with hundreds of nodes connected via a high performance network. All tests on the preliminary test cluster (running on legacy hardware with standard InfiniBand) worked without major problems. However, with the transition to the bwForCluster NEMO, NEST would only work reliably when restricting simulations to single nodes.

It became quickly evident that this was not a simple support issue. Resolution of the problem involved NEST users from the Bernstein Center in Freiburg, NEST developers from the Research Center Jülich and the members of the HPC Competence Center ENM.

In the end it was discovered that the root problem was caused by the new Omni-Path hardware in combination with the build environment (i.e. MPI libraries, Kernel). Alongside fixing the problem, weaknesses related to the NEST software deployment strategy where mended and best practices for using NEST on NEMO were established.

First steps where taken to package the rather complex and numerous NEST setup variations into Virtualized Research Environments using Singularity Containers. This will be the topic of a future Tiger Team.

Members of the Tiger Team: Bernstein Center Freiburg, INM-6 (Research Center Jülich), HPC Competence Center ENM

Status: finished.


Bereitstellung von MXNET auf dem bwForCluster MLS&WISO

Ziel des Tiger-Teams ist die Nutzung von MXNET zur Erstellung eines tiefen neuronalen Netzes unter der Verwendung der Software R als auch Python. MXNET benötigt OpenCV und eine BLAS Bibliothek. Zur Verwendung von Nvidia GPUs wird CUDA und cuDNN benötigt. Für das Setup auf dem bwForCluster MLS&WISO soll eine bestehende R Version und die für die Intel CPUs optimierte MKL und Python Version verwendet werden, um zunächst die optimale Lauffähigkeit auf CPUs sicherzustellen. Die Erweiterung auf Nvidia GPUs unter der Verwendung von CUDA und cuDNN erfolgt in einem zweiten Schritt.

Mitglieder des Tiger-Teams: Mathematisches Institut, Universität Freiburg; HPC Kompetenzzentrum MLS&WISO

Status: in Bearbeitung.


Machine learning in miRNA-target prediction

A working group of the Medical Research Center uses machine learning software for miRNA-target prediction. The size of the problems requires HPC resources, but the working group had little experience with HPC clusters. Within the scope of this Tiger-Team a member of the group was supported in getting access and using the bwForCluster MLS&WISO in several personal meetings. The applied software was investigated in respect of parallelization options and dependencies. To meet the requirements of the software an optimized version of ViennaRNA was installed on the cluster as a software module. Furthermore support for the creation and optimization of job scripts for different parts of the application workflow was given. In the end the user managed to complete and run the full workflow autonomously. The workflow was documented by the user and the acquired HPC knowledge will be spread among the group members.

Members of the Tiger-Team: Medical Research Center of the Medical Faculty Mannheim of Heidelberg University; HPC Competence Center MLS&WISO, Heidelberg University

Status: finished.


“Alignment/Analysis Workflow” für “long sequence reads” aus dem MinION Nanopore-System

Die MiniION von Oxford Nanopore ist eine handliche Durchflusszelle zur Sequenzierung von RNA und DNA. Mit ihr sind Readlängen von bis zu 20 Gigabasen möglich. So effizient diese Messmethode unter vielerlei Gesichtspunkten auch ist, so ergeben sich unmittelbar Herausforderungen bei der Auswertung der Rohdaten. Die meisten gängigen Tool zum alignen gegen ein humanen Referenzgenom, gehen von wesentlich kürzeren Reads aus. In diesem TigerTeam wurden verschiedene Arbeitsgruppen und damit Expertise zur Auswertung von Rawreads zusammengebracht.

Mitglieder des Tiger-Teams: Institut für Klinische Transfusionsmedizin und Immungenetik Ulm; Algorithms in Bioinformatics, Universität Tübingen; Max Planck Institute for Developmental Biology, Tübingen; High Performance and Cloud Computing Group, IT Center, Universität Tübingen

Status: in Bearbeitung.


Update of MATAB MDCS Integration

Scientists need large number of MATLAB processes on many compute nodes. Best tool is the MATLAB Matlab Distributed Computing Server (MDCS). An earlier Tiger-Team in 2014 provided a setup for MDCS on bwUniCluster. The aim of this team is the setup of MDCS on bwForCluster MLS&WISO. The newest MATLAB software is installed and the contact to Mathworks for the setup of the latest MDCS is established. Contact to earlier Tiger-Team is also established.

Members of the Tiger-Team: Prof. M. Meier, VWL, Universitiy of Mannheim; HPC Comptenence Center MLS&WISO, University of Mannheim; earlier Tiger-Team from 2014.

Status: in progress.


LAMMPS on Xeon Phi KNL

Untersucht wurde das Softwarepaket LAMMPS und selbst entwickelter Code zum Lattice-Boltzmann-Verfahren auf der Xeon Phi Knights Landing Plattform.

Für LAMMPS gibt es teilweise Xeon-Phi Optimierungen, aber leider nicht für die von den Nutzern benötigten Module REBO und AIREBO. Hier ist die weitere Entwicklung seitens Intel zu beachten, da nur dort das nötige Detailwissen vorhanden ist, um entsprechende Optimierungen durchzuführen.

Bei dem selbst entwickelten Code für das Lattice-Boltzmann-Verfahren war nach Optimierung durch den Intel-Compiler ein messbarer Geschwindigkeitsvorteil gegenüber einem klassischen Xeon zu erkennen. Betrachtet man aber das Preis-/Leistungsverhältnis, so lag der klassische Xeon wieder deutlich vorn: Ein preislich vergleichbares System aus zwei Xeon-Knoten schlägt einen Xeon-Phi Knoten bei dieser Anwendung deutlich.

Mitglieder des Tiger Teams: Andreas Greiner (Imtek), David Kauzlaric (Imtek), Georg Ganzenmüller (InaTech), Jan Grießer (Imtek), HPC Kompetenzzentrum ENM (Freiburg)

Status: finished.


Workflow for Whole Genome Analysis

A working group of the Institute for Medical Biometry and Informatics of Heidelberg University needs to analyse large scale genome data with different software packages in a certain workflow. Downloading the data in an efficient way and storing it on SDS@hd for analysis on the bwForCluster MLS&WISO as well as for the transfer to archive services later on is the first task. Support for data management in this matter is ongoing. For the analysis workflow the first tools were provided on the cluster. Further software modules will follow step by step as needed.

Members of the Tiger-Team: Institute for Medical Biometry and Informatics, Heidelberg University; HPC Competence Center MLS&WISO, Heidelberg University

Status: in progress.


Handelssimulationen mit Stata

Mit diesem Tiger-Team wurde die Durchführung von Simulationen für den Handel mit Metallen mit der Software Stata auf dem bwForCluster MLS&WISO ermöglicht. Stata bricht auf den lokalen Rechnern des Fachbereichs aufgrund zu großer Datenmengen und zu vieler Iterationen ab. Die Arbeitsgruppe wurde beim Einrichten eines Rechenvorhabens und beim Zugang zum bwForCluster begleitet. Des Weiteren wurden viele Anpassungen der Stata-Skripte vorgenommen und dadurch lauffähig gemacht. Durch diese Maßnahmen konnte die Nutzergruppe eine große Anzahl an Stata-Simulationen durchführen.

Mitglieder des Tiger-Teams: Fachbereich Graduate School of Decision Sciences, Universität Konstanz; Rainer Rutka, Universität Konstanz

Status: in Bearbeitung.


Installation und Tests verschiedener Gamess Versionen als Projektarbeit zur Ausbildung Fachinformatiker

Die Abteilung KIM (Kommunikation Information und Medienmanagement) der Universität Konstanz ist seit ca. 1 1/2 Jahren auch als Ausbilder für den Beruf Fachinformatiker/Systemintegration tätig. Die Auszubildenden müssen laut Lernziel des Ausbildungsplans Kenntnisse im Bereich Linux und Softwarebau erwerben. Aus diesem Grund wurde als Projektarbeit die Installation eines von Nutzern gewünschten Programms aus der Theoretischen Chemie gewählt. Das Programm Gamess wurde zusammen mit den Auszubildenden auf dem bwUniCluster und bwForCluster Justus installiert. Aufgaben wie z.B. die Erstellung eines Batch-Job-Skripts als Template, Beispieldateien suchen, laden und testen gehörte ebenso zum Aufgabengebiet, wie auch Modulefiles erstellen und die gemeinsame Auswertung der Input- und Ergebnisdaten. Die Auszubildenden der Universität Konstanz haben am Ende des Projekts einen Powerpoint-Vortrag gehalten und wurden von einem ausgewählten Team von Mitarbeiten des KIM zu dem Thema befragt (Lernzielkontrolle). Die Gamess-Nutzer auf den beiden Cluster-Systemen profitieren von den neuen optimierten Versionen und den gut dokumentierten Beispiel-Skripten.

Mitglieder des Tiger-Teams: Sebastian Hägle, Denis Gietz (Auszubildende Fachinformatik), Universität Konstanz; Rainer Rutka, Ausbilder des KIM Universität Konstanz

Status: abgeschlossen.


Galaxy Containers

Aufbauend auf den im Tiger-Team “Virtual Galaxy” gesammelten Erfahrungen wurde die Containerisierung von Bioinformatik Tools und Galaxy Workflows weiter voran getrieben.

Docker benötigt einen root-daemon Prozess, was sicherheitstechnisch für HPC-Systeme nicht praktikabel ist. Deswegen fiel unsere Wahl auf Singularity im Galaxy zu containerisieren. Der Nutzer entwickelt zunächst seinen Workflow in einer Galaxy Instanz. Dabei ist egal auf welchem System diese Instanz läuft, sei es eine lokale Workstation, eine Instanz der Arbeitsgruppe oder eine öffentliche Instanz wie z.B. usegalaxy.org. Will der Nutzer den Workflow containerisieren, benutzt er das von uns entwickelte Tool und gibt den zu exportierenden Workflow an. Nun wird ein Singularity Container erstellt und eine neue Galaxy Instanz wird darin installiert. In dieser Instanz werden nun die vom Workflow genutzten Tools installiert und daraufhin der eigentliche Workflow importiert.

Der Container kann nun auf den Cluster kopiert und ausgeführt werden. Die Eingabedaten werden dabei vom Cluster in den Container und weiter zu Galaxy gemountet. Nach der Ausführung werden die resultierenden Dateien von der Galaxy Instanz in einen Ergebnisordner auf dem Cluster exportiert und die laufende Galaxy Instanz heruntergefahren. Der genutzte Singularity Container kann mit dem geplanten Dienst des CiTAR-Projekts archiviert werden und damit den Container zitierfähig und die Ergebniss reproduzierbar zu machen.

Mitglieder des Tiger-Teams: Bioinformatics Group Freiburg; High Performance and Cloud Computing Group, IT Center, Universität Tübingen; HPC Competence Center ENM (Freiburg)

Status: abgeschlossen.


Daten-intensive Verarbeitung von Cryo-Elektronenmikroskopie-Daten

Mit aktuellen Cryo-Elektronenmikroskopen können sehr hohe Auflösungen und Durchsatzraten erzeugt werden, die zu sehr großen Datenmengen führen (im Bereich von Terabytes pro Tag). Im Rahmen der nachgelagerten Analyse werden aus 2D-Projekten von 3D-Objekten die Struktur der Objekte rekonstruiert. Für die Auswertung muss über Monate auf die Originaldaten zugegriffen werden können. Die umfangreichen Daten sollen im Dienst “SDS@hd - Scientific Data Storage” gespeichert werden. Der Analyse-Schritt ist sehr rechenintensiv und erfordert die Verwendung eines Hochleistungsrechners. Hier soll der bwForCluster MLS&WISO zum Einsatz kommen, der insbesondere über eine Direktverbindung zu SDS@hd verfügt. Das Tiger-Team untersucht die Prozesse der Datenerzeugung und der Datenanalyse und stellt eine effiziente Verwendung der zuvor genannten Speicher- und HPC-Dienste sicher. Dies erfordert die Installation von entsprechender Software, sowie die Auswahl einer geeigneten Tool-Chain.

Mitglieder des Tiger-Teams: Cryo-Electron Microscopy, Universität Heidelberg; URZ, Universität Heidelberg

Status: in Bearbeitung.


Optimizations for Virtualized Research Environment CMS

The Virtualized Research Environment CMS has been in production on NEMO since the start of the cluster. Since the approach to use virtualization techniques on HPC systems was uncommon at the time, there has been a lot of experience gathered during the initial phase. This has led to several noteworthy optimizations that benefit the CMS group as well as other groups making use of Virtualized Research Environments on NEMO. The actions taken were mostly related to problems brought on by using OpenStack for such a large number of virtual machines:

  • Hundreds of virtual machines running concurrently were creating significant outbound traffic. To circumvent the problem, a squid proxy was deployed as a permanently running virtual machine. This is part of the NEMO OpenStack service environment.
  • Virtual machine flavors with 10 cores yielded better performance than the initially used flavors with 4 cores due to lesser overhead.
  • The central SQL OpenStack database disks were upgraded to NVMe technology. This worked around a problem with large scale OpenStack deployments.
  • OpenStack services were rebalanced and redistributed to dedicated servers to achieve better responsiveness.

In the course of the Tiger Team, the workload manager “ROCED” was constantly developed and refined.

Members of the Tiger Team: The Group of Prof. Günter Quast (Manuel Giffels, Thomas Hauth, Matthias Schnepf, Christoph Heidecker) from KIT; HPC Competence Center Freiburg

Status: finished.


Paralleles CFOUR zur verbesseren HPC-Nutzung

Der Umfang typischer Berechnungen mit CFOUR und die Einschränkung der Laufzeit auf HPC-Systemen erfordert die Bereitstellung einer parallelen Version von CFOUR. Für die bwHPC-Cluster sollen optimal angepasste Build-Konfigurationen und parallel-arbeitende Binaries erstellt sowie entsprechende Performance-Analysen durchgeführt werden. Diese Binaries sollen als Software-Paket (inkl. Beispiel-Skripten) allen Nutzern verfügbar gemacht werden.

Mitglieder des Tiger-Teams: Chemieinformationssysteme, Universität Ulm; SCC, KIT

Status: in Bearbeitung.


Virtualized Research Environment ATLAS for Production

The general feasibility to run the ATLAS software environment from Particle Physics inside a Virtualized Research Environment on NEMO was proved in a previous Tiger Team. In this followup Tiger Team, the proof of concept was further developed into a solution ready for production. This necessitated numerous changes. First, the construction of the ATLAS virtual machine image was migrated from a handcrafted ad-hoc approach suitable for a prototype to an automated scripted process using “packer” and “puppet”. Second, the workflow manager “ROCED” had to be further adapted to dispatch jobs from the native ATLAS environment to virtual machines on NEMO. Last, extra software defined networks had to be provided inside the NEMO OpenStack framework to accommodate the virtual compute resources. These changes allow now the dynamic (“elastic”) allocation of NEMO nodes for jobs from the local ATLAS groups in Freiburg.

Members of the Tiger Team: The Group of Prof. Markus Schumacher (Anton Gamel, Ulrike Schnoor, Konrad Meier, Felix Bührer), Institute of Experimental Particle Physics (Günter Quast, Thomas Hauth, Manuel Giffels, Matthias Schnepf, Christoph Heidecker), HPC Competence Center ENM

Status: finished.


Bio-medical large scale computing

So far the working group Functional Neuroanatomy had used only local compute resources for the analysis of microscope data. This Tiger-Team was established to port compute-intensive applications to the bwForCluster MLS&WISO. The work required the analysis of the application software to identify suitable node types as well as the creation and adaption of job scripts which was done in collaboration with the responsible scientist of the group. The data management required special attention, because data sets produced by the microscope tend to be quite large. Advise on how to transfer data to the cluster and on how to use data on the cluster efficiently was given.

Members of the Tiger-Team: Institute for Anatomy and Cell Biology, Heidelberg University; HPC Competence Center MLS&WISO, Heidelberg University

Status: finished.


Solving large optimization problems with the AMPL workbench

Using the AMPL optimization modeling lifecycle workbench to solve problems for the chairs research topics. The software needs a commercial license and a running license manager on the bwForCluster. It consists of several optimization engines (Cplex, Gurobi, Knitro, Xpress). Cooperation for software configuration and choosing the right node sizes. Coordinating with the AMPL support to keep the software operational (after Spectre/Meltdown patches on the cluster AMPL needed a specific update).

Members of the Tiger-Team: Prof. Dr. Cornelia Schön, Chair of Service Operations Management, BWL, University of Mannheim; HPC Competence Center MLS&WISO, University of Mannheim

Status: finished.


Optimierung einer Adaptive Design Optimization (ADO) Anwendung

Adaptive Design Optimization (ADO) ist ein Algorithmus aus dem Bereich des statistischen Rechnens, der auch für psychologische Forschung verwendet wird. Im Rahmen dieses Tiger-Teams konnten durch die gemeinsame Analyse der Anforderungen und des Anwendungsfalles wertvolle Hinweise zur Optimierung erarbeitet werden. Zusätzlich zeigte die Untersuchung des Programmcodes weitere Möglichkeiten zum Performancegewinn. Auf diesem Wege konnten die Parallelisierung sequenzieller Programmteile ermöglicht und weitere Synergieeffekte durch die Verwendung leistungsoptimierter Bibliotheken erzielt werden. Die Arbeiten wurden vom Nutzer dann selbstständig weiter geführt. Damit war das Ziel des Tiger-Teams erreicht.

Mitglieder des Tiger-Teams: Psychologisches Institut, Universität Heidelberg; HPC Kompentenzzentrum MLS&WISO, Universität Heidelberg

Status: abgeschlossen.


2016

Spectral analysis of field potential recordings in an epilepsy model

In vivo recordings from implanted multi-electrode arrays create large data sets and the spectral analysis of these data sets is time- and memory-demanding, in particular when done on conventional computers.

This prohibits the analysis of very large data sets or prevents a parallel analysis of multiple data sets as well as channels within a single data set. Within this Tiger Team, the Matlab-based analysis of these data set was realized on the bwForCluster NEMO. Moreover, the NEMO framework permitted the extension of the data analysis to computations across multiple electrodes and data sets. The results of these analysis were published in a paper (Kilias et al., 2018).

Finally, the successful employment of the NEMO/HPC framework encouraged other members of the Laboratory for Biomicrotechnology to migrate memory consuming data analysis, such as seizure evaluation or of high density recordings from cell cultures, to NEMO.

Members of the Tiger-Team: Laboratory for Biomicrotechnology (University of Freiburg), Comptence Center ENM

Status: finished.


Performance Improvement of Siesta

Das Programm Siesta wird unter Anderem in der elektronischen Strukturberechnung oder zur Molekulardynamik-Simulation verwendet. In gewissen Situationen kommt es allerdings mit einer Standardinstallation zu Abstürzen. Dies lässt sich beheben, indem Optimierungsoptionen im Compiler deaktiviert werden und OpenMPI anstelle von IntelMPI verwendet wird. Das Ziel dieses Tiger-Teams war die Identifikation und Lösung des Problems und die clusterweite Bereitstellung eines optimierten Siesta Moduls. Als Grund für den Absturz konnte schließlich ein Speicherleck ermittelt werden, das unter gewissen Umständen in der MPI Bibliothek von Intel auftritt. Intel konnte den Bug in einer neueren Version beheben und das optimierte Siesta konnte in manchen Fällen bis zu einem Faktor 4 beschleunigt werden.

Mitglieder des Tiger-Teams: Institute for Computational Physics, Universität Stuttgart; kiz, Universität Ulm

Status: abgeschlossen.


Parallelisierung von nichtparametrischen Kernel-Methoden in R

Unter der Verwendung von nichtparametrischen Kernel-Methoden in R benötigte eine bestehende Implementierung für eine kleine Problemgröße 3 Tage. Ziel des Tiger-Teams war die Verkürzung der Laufzeit unter der Verwendung von parallelen Methoden wie z.B. MPI. Für die verwendete Bibliothek gibt es eine Implementierung für MPI (npRmpi). Die Nutzung von MPI ergab allerdings nicht die erhoffte Verbesserung. Erst die Verwendung von parallelen Threads führte letztlich zu einer Geschwindigkeitssteigerung von mehr als einem Faktor 20. Die Laufzeit für eine beispielhafte Problemgröße wurde laut Nutzerangabe von 3 Tagen auf 3 Stunden reduziert. Das Tiger-Team zeigt eindringlich, wie in kurzer Zeit und mit relativ wenig Aufwand (akkumuliert 2 Tagen) große Effizienzsteigerungen erzielt werden können. Die erfolgten Berechnungen fließen in ein working paper von Dr. Bettina Siflinger mit dem Titel “A Test for Selectivity Induced by Rounding of Survey Responses” ein und soll Ende 2018 veröffentlicht werden.

Mitglieder des Tiger-Teams: SFB 884 ‘Political Economy of Reforms’, Universität Mannheim; RUM, Universität Mannheim

Status: abgeschlossen.


Gemeinsames Laufwerk für Ornithologie-Datenbanken auf dem bwUniCluster

Oft ist es notwendig, dass eine Gruppe von Wissenschaftlern gemeinsamen Zugriff auf Daten, bzw. Datenbanken erhält. Im Bereich Bio-Informatik sind das in der Regel DNS- oder Protein-Datenbanken. Diese können eine beträchtliche Größe aufweisen. Deshalb ist es nicht praktikabel, dass jeder einzelne Mitarbeiter der Gruppe eine Kopie der Daten in seinem eigenen HOME-Bereich des Clusters speichert, auf die nur er selbst Zugriff hat. Es war erforderlich, dass die Daten täglich auf den neuesten Stand gebracht und an einer zentralen Stelle für den Fachbereich zur Verfügung gestellt werden.

Daraufhin hat das Tigerteam ein gemeinsames Datenlaufwerk für alle Mitglieder der Bioinformatik-Gruppe aus Konstanz an einer zentralen Stelle auf dem bwUniCluster eingerichtet. Die Berechtigung für den gemeinsamen Zugriff ist auf Basis der sog. Access Control Lists (FACL) auf dem bwUniCluster realisiert worden.

Mitglieder des Tiger-Teams: Ralf Mueller, Dr. Robert Kraus, Universität Konstanz; Rainer Rutka, Universität Konstanz

Status: abgeschlossen.


Portierung und Optimierung von HPC-Rechnungen mit gekoppelten Anwendungen und erhöhtem Speicherbedarf auf JUSTUS

Wegen erhöhtem RAM-Speicherbedarf pro Prozessorkern ist die Kopplung von OpenFOAM (Open-Source Strömungslöser mit chemischen Reaktionen) mit CFDEM (Open-Source Version des Partikellösers) auf den SCC-Rechnern wie bwUniCluster oder ForHLR I im Falle der vorliegenden Anwendung mit erheblichen Effizienzeinbußen verbunden. Aufgrund der vorhandenen HPC-Infrastruktur wurde der bwForCluster JUSTUS als geeignetes System für die vorliegende Aufgabe identifiziert. Die Aufgabe des Tigerteams beinhaltet die Portierung und Kopplung der beiden Codes unter Berücksichtigung der vorhandenen InfiniBand Architektur, die Optimierung von Jobkonfiguration sowie der Workflows für die weitere Behandlung/Postprozessing der erzeugten Daten. Hierzu ist insbesondere eine effiziente Remote-Visualisierung der Ergebnisse erforderlich, um die Übertragung von großen Datenmengen stark zu reduzieren. Das gemeinsame Tigerteam der Kompetenzzentren ING und CompChem hat die Aufgaben in Kooperation mit dem Benutzer (ITCP, KIT) erfolgreich ausgeführt. Zusätzlich wurden Skalierungstests und Performanceanalysen durchgeführt, welche den Parameterbereich der effizienten Nutzung des Clusters geklärt haben. Mittels OpenGL-beschleunigter Visualisierung zur Remote-Postprozessierung mit ParaView konnten auch Videos, welche die Partikelbewegung und Verweilzeitdauer in dem chemischen Reaktor zeigen, auf JUSTUS erstellt werden.

Mitglieder des Tiger-Teams: kiz, Universität Ulm; SCC, KIT; ITCP, KIT

Status: abgeschlossen.


Fortran program usage of netcdf-routines @bwUniCluster

In the context of a forest research project at the Albert-Ludwig-Universität Freiburg the portation a fortran based boxmodel code for atmospheric chemistry was anticipated, which was originally developed at the MPI for Chemistry in Mainz and developed further at the IASS in Potsdam. The challenge was to get the netcdf routines used earlier to write and store simulation results in files. The lib/netcdf/4.4.2 fortran-openmpi-1.8-intel-13.1 was used and a suitable boxmodel was provided. The netcdf libraries are loaded through the Makefile and applied in a) “mo netcdf.f90” and b) “messy mecca1 box.f90”. Actually the nf90 functions failed for opening, writing and closing the nc-files. Commenting out these parts result in a smoothly progressing of the model, including them lead to failure. A thorough analysis of the code dependencies and recompilation on the bwUniCluster led to a fully functional application.

Mitglieder des Tiger-Teams: High Performance and Cloud Computing Group, IT Center, Universität Tübingen; HPC Competence Center ENM (Freiburg)

Status: abgeschlossen.


Performance improvement and benchmarking of NAMD for single-/multinode cases

NAMD is a molecular dynamics package that offers a wide range of configuration options at compile time. It is used in conjunction with quantum mechanics methods on Justus: “Concerning our research on light-harvesting complexes in photosynthesis, we need to use a QM/MM approach for which we use NAMD software to run molecular dynamics calculations. Since these complexes have very high number of atoms (100-200 thousands) we need to use several computer processors in parallel and a positive about NAMD is that it scales very well on multi-nodes simulations.”

NAMD performance was evaluated using an example from the user and the apoa1 benchmark (http://www.ks.uiuc.edu/Research/namd/performance.html). For the single-node case, the pre-built NAMD shared-memory binaries needed 71.7 sec (mean of 5 tries, stddev 0.38) on 16 cores, the ones built for Justus with Intel compiler and MKL 36.0 sec (mean of 5 tries, stddev 0.3). Self-built Intel MPI versions were slower with 67.3 sec (mean of 5 tries, stddev 7.8), all other variants were yet slower (not shown). All variants profited from using hyperthreading (32 virtual cores on 16 real ones), bringing down times to 59.9 sec (pre-built shared memory), 31.4 sec (self-built shared memory) and 64.4 sec (self-built Intel MPI). Multinode jobs were possible but not efficient, their run-times for 64 cores were only slightly shorter (down to 24 sec but with large fluctuations on run-time) than those of runs using hyperthreading on a single node. In summary, we could speed up single-node calculations by a factor of 2.3.

Mitglieder des Tiger-Teams: Institut für Theoretische Physik, Universität Ulm; kiz, Universität Ulm

Status: finished.


Unterstützung von Workflows zur direkten Nutzung des Speicherdienstes SDS@hd

In Heidelberg wurde eine direkte Anbindung des neuen Speicherdienstes SDS@hd an den bwForCluster MLS&WISO realisiert. Über SDS@hd wird die Speicherkapazität des Nachfolgesystems der LSDF verfügbar gemacht. Bei der technischen Umsetzung der Anbindung wurden die Erkenntnisse aus dem Prototyp von 2014 berücksichtigt. Auf dem bwForCluster MLS&WISO ist das Speichersystem auf sogenannten Data-Mover-Knoten (über mehrfach 40 GE) als auch direkt auf allen Heidelberger Rechenknoten (über IPoverIB) verfügbar. Durch dieses Setup werden verschiedene Workflows unterstützt. Zusätzlich zum Direktzugriff auf den Rechenknoten erlauben die Data-Mover-Knoten unabhängige und breitbandige Kopiervorgänge in Workspaces auf dem Cluster für Anwendungen, die vom parallelen Dateisystem des Clusters profitieren. In Rahmen des Tiger-Teams wurde die Anbindung zusammen mit verschiedenen Nutzergruppen getestet und deren Zugriffsszenarien untersucht. Die Ergebnisse wurden verwendet, um die Konfiguration der Anbindung zu optimieren, die Nutzer-Dokumentation zu verbessern und zusätzliche Datenmanagement-Tools bereit zu stellen.

Mitglieder des Tiger-Teams: BioQuant, Institut für Anatomie und Zellbiologie, IWR und URZ, Universität Heidelberg

Status: abgeschlossen.


Installation einer optimierten GPAW Version

Ziel des Tiger-Teams war eine zentrale Installation von GPAW 1.2.0. Um eine möglichst gute Performance zu erreichen, wurde die Software gegen Intel MPI und Intel MKL gelinkt und mit auf die Hardware von JUSTUS angepassten Compilerflags übersetzt. Dankenswerterweise wurde von Dr. Michael Walter hierzu eine Anleitung bereitgestellt die er im Zuge des Tiger-Teams auch auf die neue GPAW Version aktualisiert hat. Um die Einstiegshürde niedrig zu halten wurde ein Beispiel eingefügt und eine kurze Hilfe erstellt.

Mitglieder des Tiger-Teams: Dr. Michael Walter, Functional Nanosystems, Uni Freiburg; Kompetenzzentrum für Chemie, Uni Ulm

Status: abgeschlossen.


Virtual Galaxy

This Tiger Team investigated the feasibility of using the bwForCluster NEMO as a computation backend for tasks which are submitted by users from the Bioinformatics community from an existing Galaxy portal. The computation tasks needed access to an external data repository and they had to run in user-customizable virtualized software environments (VMs). Tasks were encapsulated in Docker containers which ran inside of the VM. The bwForCluster NEMO was chosen since at the time there were already two workgroups with similar requirements from the field of Elementary Particle Physics working with NEMO and the bwHPC ENM competence center. The BinA competence center in Tübingen was involved in this Tiger Team, given the interest in establishing a similar solution for the bwForCluster BinAC as well. A proof of concept was established, but it was concluded that containers (Docker, Singularity) would be more flexible to satisfy these workloads. This was investigated in a followup Tiger Team.

Members of the Tiger Team: Bioinformatics Group Freiburg (Rolf Backofen, Björn Grüning, Stefan Jankowski, Clemens Blank), Institute of Experimental Particle Physics (Günter Quast, Thomas Hauth, Frank Fischer), HPC Competence Center BinA (Tübingen), HPC Competence Center ENM (Freiburg)

Status: finished.


Implementierung einer Checkpoint/Restart Infrastruktur mit Hilfe von criu

Eine Rechnung mit einem relativ hohen Basissatz (MP2/cc-pVTZ) für ein großes Molekül (20 bis 30 Atome) benötigt deutlich mehr als zwei Wochen Rechenzeit. Der in dem Programm eingebaute Checkpoint/Restart Mechanismus ist in diesem Fall nicht ausreichend, da dadurch zu viel Rechenzeit verloren geht. Der Grund hierfür ist, dass nicht der komplette Status des Programms im Checkpoint gespeichert wird und daher ein Teil der Rechnungen wiederholt werden muss. Diesen Nachteil kann man umgehen, indem man ein applikationsunabhängiges Checkpoint/Restart Programm verwendet, in diesem Fall criu. Dafür war es notwendig einen Workflow zu implementieren der das Programm rechtzeitig vor Jobablauf einfriert, benötigte Dateien im Lustre sichert und Checkpoints erstellt. Beim Restart muss das Verfahren im umgekehrter Reihenfolge ablaufen und sichergestellt sein, dass der Ablauf bei Chainjobs robust arbeitet. Darüber hinaus wurden Sicherheitsfeatures im criu daemon und den Wrapper Skripten entwickelt, die eine Privilege Escalation effektiv verhindern.

Mitglieder des Tiger-Teams: Dr. Rainer Rudert, Chemieinformationssysteme, Uni Ulm; Kompetenzzentrum für Chemie, Uni Ulm

Status: abgeschlossen.


Portierung, Anpassung und Optimierung von CPMD für den bwForCluster JUSTUS

Ausgehend von unseren Forschungsergebnissen im Bereich druckinduzierter Phasenübergänge von organischen Verbindungen (z.B. Biphenyl) [1], beabsichtigen wir die druckinduzierten Strukturveränderungen von Biomolekülen in wässriger Lösung zu untersuchen. Unser Augenmerk richtet sich zum Einen auf die Konformationsänderungen im Bereich der reaktiven Zentren von Enzymen. So ist unter anderem bekannt, dass physiologische Vorgänge bei Bewohnern der Tiefsee durch spezielle Enzyme geregelt sind, da die Enzyme der Oberfläche durch druckinduzierte Strukturveränderungen ihre Wirksamkeit verlieren. Andererseits möchten wir die Faltung des humanen Prionproteins bei erhöhtem Druck in wässriger Lösung untersuchen. Dieses Protein zeichnet unter anderem verantwortlich für die Entstehung der Creutzfeldt-Jacob Krankheit. Hochdruck NMR-Experimente [2] zeigen, dass sich die pathogene Faltung bei Drücken im MPa-Bereich verändert. Wir beabsichtigen, diese Veränderung genauer zu untersuchen und den nötigen Übergangsdruck zu berechnen. Erste Voruntersuchungen an Modelsubstanzen wie dem Tripeptid Glutathion oder Insulin zeigten, dass bei der Verwendung des quantenmechanischen Softwarepakets VASP die Anforderungen an die Rechenressourcen zu groß sind. So dauerte beispielsweise die Berechnung einer konvergierten Wellenfunktion im Fall des Insulins (ca. 3000 Atome) 120 Stunden auf 128 Prozessoren. Eine Strukturoptimierung des humanen Prions (ca. 5000 Atome) ist daher aussichtslos. Eine Verwendung von CPMD ist hier vorteilhaft, da nur im ersten Optimierungsschritt die vollständige Wellenfunktion berechnet werden muss. Darüber hinaus finden sich in Enzymen keine metallischen Strukturen, die eine Berechnung mit VASP notwendig machen würden. Für die zentrale Bereitstellung von CPMD wurde eine Vereinbarung mit dem Hersteller getroffen. Zusätzlich muss sich jeder Nutzer vor der Freischaltung persönlich auf der CPMD-Webseite registrieren. Mechanismen zur Absicherung der Software via SGID bzw. File-ACLs wurden entwickelt bzw. an die Software angepasst. Die CPMD Installation ist damit so abgesichert, dass eine Nutzung erst nach Freischaltung möglich ist. Die Optimierung des Programm-Binaries erfolgte mit den Mitteln der Intel Compiler Suite. Zur Fragestellung passende Beispiel-Inhalte stehen zur Verfügung und können als Ausgangspunkt für ähnliche Rechnungen dienen. Literatur: [1] Potzel O. and Taubmann G., PhysChemChemPhys, 15, 20288-10293, 2013. [2] Kachel N., Kremer W., Zahn R. and Kalbitzer H. R., BMC Struct Biol, 6, 16, 2006.

Mitglieder des Tiger-Teams: Institut für Theoretische Chemie, bwHPC-C5 Kompetenzzentrum für computergestützte Chemie, Universität Ulm

Status: abgeschlossen.


Bereitstellung der COMSOL Simulationsplattform auf dem bwUniCluster

Es bestand die Anforderung, die aus dem Institut für Angewandte Mathematik kam, direkt von der Simulationsplattform COMSOL Multiphysics aus, eine Software für die Modellierung und Simulation von physikalischen Phänomenen, auf dem bwUniCluster arbeiten zu können. Das Ziel bestand darin, die CAE (Computer-Aided Engineering)-Anwendung so anzupassen, dass die Ressourcenanforderungen an das bwUnicluster direkt auf der Benutzeroberfläche des COMSOL Desktop erfolgen und die Berechnungen der Simulationen von dort auch aus gestartet werden. Hierdurch war seitens der Wissenschaftler, wenig HPC-erfahren, eine einfachere Handhabung erhofft. Unter Berücksichtigung von Lizensierung, Detailklärungen mit dem Softwareanbieter sowie diverser Tests mittels dafür extra aufgesetzter Beispielprojekten, wurde die Plattform anforderungsgerecht konfiguriert, dokumentiert und installiert. Weitere Unterstützungen und Beratung erfolgten.

Mitglieder des Tiger Teams: Institut für Angewandte Mathematik und Statistik, Universität Hohenheim; KIM, Universität Hohenheim

Status: abgeschlossen.


2015

Integration Zentralinstitut für Seelische Gesundheit

Das Tiger-Team unterstützte die Wissenschaftler des Zentralinstituts für Seelische Gesundheit (ZI) beim Zugang und der Nutzung des bwUniClusters. Um den Zugang zu ermöglichen, wurde das ZI in das Identitätsmanagement der Universität Heidelberg integriert und entsprechendes Dokumentationsmaterial erstellt. Des Weiteren wurden Software-Module (freesurfer und FSL) für diese Anwendergruppe auf dem bwUniCluster installiert. Der bwUniCluster wird seitdem regelmäßig von den Wissenschaftlern des ZI genutzt.

Mitglieder des Tiger-Teams: Zentralinstitut für Seelische Gesundheit, Mannheim; URZ, Universität Heidelberg

Status: abgeschlossen.


Data management, processing and analysis of Whole Transcriptome based RNA-sequencing reads

RNA was extracted from the whole blood samples taken during the immunization schedules at different timepoints and the whole blood transcriptome was obtained by Next Generation Sequencing based RNA sequencing method. The objective of this tiger team was to enable and optimize the HPC-based analyses of RNA sequencing reads. Workflows and submission scripts were therefore created for RNA-Seq transcription analyses, T-Cell antigen receptor analysis and human leukocyte antigen analysis utilizing the job dependency functionality offered by batch system (MOAB/Torque).

Members of the Tiger-Team: Institute of Tropical Medicine, University of Tübingen, Zentrum für Datenverarbeitung, University of Tübingen

Status: finished.


An Analysis of Multicast Traffic in Wireless Networks

Today wireless local area networks (WLANs) are part of most network infrastructures, providing access to data at work, at home, and at public places. In addition, today many protocols exist that make use of multicast to share and receive data in a group-like manner. However, multicast is often disabled as a precautionary measure, since multicast is expected to have negative impacts on network performance. We want to determine whether there is a need to optimize multicast or protocols using multicast when being used in WLAN environments. Thus, in this thesis a simulation study is performed, evaluating the effects of multicast traffic on WLANs using the IEEE Standard 802.11n.

To design an accurate study, a thorough survey of literature in related fields is done. As a result, we present various simulation models enabling us to evaluate multicast traffic in WLANs. In addition, DNS service discovery over multicast DNS (mDNS) is evaluated as a use case. Furthermore, we propose an extension to mDNS, reducing the amount of traffic needed to be transmitted when using mDNS. We further discuss how to execute independent simulations in parallel on a high performance computation cluster, the various precautions that need to be taken, and the necessary preparations that need to be made. While our simulation study indicates that the effects on network performance of mDNS used within a WLAN environment are moderate, it also indicates that multicast traffic at higher data rates does not have as negative an impact on the network performance in small WLANs as anticipated.

The Tiger-Team installed the program Omnet 4.6 on the bwUniCluster and created Moab-submit-scripts for the calculations using ‘GNU parallel’.

Members of the Tiger-Team: Andreas Rain (Uni Konstanz | AG Verteilte Systeme, Prof. Dr. Marcel Waldvogel), Rainer Rutka (Uni Konstanz | KIM/Rechenzentrum)

Status: finished.


Erforschung von genetischen Populationsstrukturen am Beispiel von europäischen Wasserflöhen

Unterteilung der Gesamtstichprobe in genetisch ähnliche biologische Cluster aufgrund der Geninformationen einzelner Individuen.

Ausgehend von einem Datensatz ausgewählter Geninformationen (Mikrosatelliten-Marker) einer großen Anzahl von Wasserflöhen (zum Beispiel Art Daphnia longispina) aus verschiedenen Gewässern aus verschiedenen Ländern in Europa, wird diese zu den einzelnen Herkunftsgewässern sortiert.

Die Sortierung in eine bestimmte Anzahl an genetischen Clustern erfolgt ausschließlich aufgrund der individuellen Genotypen. Daher muss für jede Anzahl an zu berechnenden Clustern ein eigenes Szenario errechnet werden, und für jedes Szenario werden mehrere unabhängige Simulationen durchgeführt, um eine statistisch sichere Aussagekraft sicherzustellen.

Die Berechnung der einzelnen Simulationen erfolgt auf dem bwUniCluster, mit dem es möglich ist, mehrere hundert von einander unabhängige Simulationen zu starten.

Das Tiger-Team installierte das Programm Structure 2.3.4 auf dem bwUniCluster und erstellte ein Moab-Submit-Skript, mit dem die parallelen Berechnugen durchgefürt wurden.

Mitglieder des Tiger-Teams: Dr. Robert H.S. Kraus (Uni Konstanz | Max-Planck-Institut für Ornithologie, FB Biologie Universität Konstanz), Rainer Rutka (Uni Konstanz | KIM/Rechenzentrum)

Status: abgeschlossen.


Extension of van der Waals D3 method for better description of metal metal interactions in metallic systems

With including pair-wise van der Waals interactions as proposed by Grimme [1], intermolecular and molecule/surface interactions can be evaluated more accurately in VASP. In contrast to conventional DFT and hybrid DFT functionals, which do not explicitly incorporate dispersion interactions, the Grimme’s D3 method has been designed to describe the dispersion interactions accurately on top of DFT calculations [2]. Nevertheless in our own studies we have found noticeable deficiencies of the D3 method when being applied to metal metal interactions in metallic systems. This is due to the fact that the D3 coefficients have been designed for metal complexes in molecular systems, but not for metals in metallic solids. Therefore we have extended the functionality of the D3 implementation in VASP giving the user the choice to selectively disable the D3 contributions of certain atoms or types of pari-interactions. This approach is promising since the metal metal interaction in metallic systems can already be well described by conventional DFT methods. Furthermore we have upgraded the D3 implementation in VASP incorporating latest corrections to D3 theory. In principle the implementation of this has been straight forward, but problems in early implementations of D3 theory lead to inconsistent results in some cases. In addition unfavorable placement of the selection mechanisms caused scaling problems in first implementation attempts. After overcoming these problems, recent studies confirmed that the modifications indeed can result in the desired improvement of molecule to metallic surface interactions [4]. Literature: [1] S. Grimme, J. Antony, S. Ehrlich, and S. Krieg, A consistent and accurate ab initio parametrization of density functional dispersion correction (dft-d) for the 94 elements H-Pu, J. Chem. Phys. 132, 154104 (2010). [2] S. Grimme, S. Ehrlich, and L. Goerigk, Effect of the damping function in dispersion corrected density functional theory, J. Comp. Chem. 32, 1456 (2011). [4] S. Sakong, A. Groß, Methanol oxidation on Pt(111) from first-principles in heterogeneous and electro-catalysis, Electrocatal. 8, 577-586 (2017).

Members of the Tiger-Team: Institute for Theoretical Chemistry, and bwHPC-C5 Competence Center for Computational Chemistry, Ulm University

Status: finished.


Development and implementation of bioinformatic workflows incl. data managent for sequence analysis of plants

Mit diesem Tiger-Team sollen die Grundlagen für die Sequenzanalyse von Pflanzengenomen und -transkriptomen auf dem bwGRiD und zukünftig auf dem BINAC geschaffen werden. Zum einen mussten hierfür verschiedenste Programme auf dem Cluster installiert und mithilfe der Anwender getestet werden, zum anderen ist eine Infrastruktur für den Datentransfer von großen Rohdaten über weite Strecken (in Kooperation mit dem Cold Spring Habor Laboratory (New York, USA) geschaffen worden.

Mitglieder des Tiger-Teams: Zentrum für Molekularbiologie der Pflanzen, Universität Tübingen; Cold Spring Harbor Laboratory, New York, USA; Zentrum für Datenverarbeitung, University of Tübingen

Status: abgeschlossen.


HPC implementation of the OpenFOAM top-level solver phaseFieldFoam

Ziel dieser Aktivität war die Portierung eines In-House Solvers für OpenFOAM und die Implementierung und Optimierung von Workflows auf dem bwUniCluster. Die vom User ursprünglich lokal und seriell durchgeführte Softwareentwicklung erfolgte auf einer speziellen Version von OpenFOAM - nämlich die Development-Version. Das Tiger-Team hatte die Development-Version auf den bwUniCluster installiert und den entsprechenden Modul zum Laden der Software für alle Benutzer des Supercomputers erstellt. Damit verbunden erfolgten - nach Bedarf und Wunsch des Users - ein Update der Wiki-Seite bezüglich der parallelen Benutzung der Software als auch eine Installation der Visualisierungssoftware Paraview auf dem bwUniCluster. Weiterhin wurde ein Workflow entwickelt, um den User zukünftig auf seinem Account die Installation und die Updates der Development-Version von OpenFOAM zu ermöglichen. Nach erfolgreichem Training und Testen des Workflows wurden alle Aufgaben erfolgreich beendet.

Mitglieder des Tiger-Teams: Institut für Katalyseforschung und -technologie, KIT; SCC, KIT; Hochschule Esslingen

Status: abgeschlossen.


CFD-Berechnungen von Strömungen mit Partikeln und chemischen Reaktionen

Zielsetzung ist die Portierung von Anwendungen für parallelisierte numerische Berechnungen mit dem CFD (Computational Fluid Dynamics) Programm OpenFOAM und weiterer Software, welches DEM-Rechnungen (Diskrete Element Methode) durchführt, auf die bwHPC-Cluster, inkl. Optimierung von Batch-Job-Skripten sowie Implementierung und Optimierung des Da- tenmanagements.

Mitglieder des Tiger-Teams: Institut für Technische Chemie und Polymerchemie, KIT; SCC, KIT; Hochschule Esslingen

Status: abgeschlossen.


Mplus-Bereitstellung auf dem bwForCluster MLS&WISO

Aus den Sozialwissenschaften kam die Anforderung für die Software Mplus. Das Tiger-Team hatte das Ziel, Mplus auf dem bwForCluster MLS&WISO bereit zu stellen. Eine erste Version wurde auf dem bwUniCluster zu Testzwecken vorbereitet. Nach Klärung der Lizenzierungsfragen mit den Herstellern konnte das vorbereitete Software-Module für den bwForCluster angepasst und übertragen werden. Mangels Bedarf erfolgte der Abschluss des Projektes letztlich ohne Installation auf dem bwForCluster MLS&WISO. Die gewonnen Erkenntnisse werden weiter vorgehalten und bei Bedarf umgesetzt.

Mitglieder des Tiger-Teams: Mannheimer Zentrum für Europäische Sozialforschung (MZES), Universität Mannheim; RUM, Universität Mannheim

Status: abgeschlossen.


Matlab Integration

The Tiger Team “Matlab Integration” was established in October 2013 after a Matlab workshop in Freiburg. Attendees were scientists from various fields working with Matlab, experts from MathWorks and members of the bwHPC-C5 competence centers. The workshop raised several complex questions that could not be answered right away and needed a joint effort with a longer perspective.

In the course of the Tiger Team “Matlab Integration”, three main problems were addressed. The first problem was a cross licensing issue which was settled by an agreement between MathWorks and the state of Baden-Württemberg. Next, there was the technical issue of Matlab implicitly using all available cores on a cluster node. This invalidated the shared usage model used on the bwUniCluster. A workaround was found and is now documented in the Best Practices Repository of the bwHPC-C5 project. The last problem addressed the concerns of users who prefer the Matlab graphical user interface over the Unix command line. A perspective solution is the usage of the Matlab Distributed Computing Server (MDCS), which is included with a limited number of workers (max 32 cores) in the state wide license. This allows scientists to submit jobs to the clusters from the Matlab installation on their local desktop. After a series of tests with pilot users, this solution was made available to the bwUniCluster users. The documentation is available on the bwHPC Best Practices Repository. Further developments be pursued by a follow-up Tiger Team.

Members of the Tiger Team: MathWorks and HPC Competence Centers Freiburg, Heidelberg, Karlsruhe, Tübingen, Ulm

Status: finished.


Regionaler Klimawandel

Die Hohenheimer DFG-Forschergruppe “Regionaler Klimawandel” implementiert ein gekoppeltes Landmodellsystem, in dem Interaktionen und Feedbacks zwischen Atmosphäre, Landoberfläche und Landnutzung hochaufgelöst simuliert werden. Ziel ist es, die Anpassung von Landnutzern und die Wechselwirkungen zwischen Landnutzungsentscheidungen und Atmosphäre-Landoberfläche-Prozessen zu erfassen und so verbesserte regionale Projektionen über die Folgen des Klimawandels zu gewinnen. Insbesondere interessiert hierbei die Anpassung an die geänderten klimatischen Bedingungen auf verschiedenen Ebenen und Skalen, die von einzelnen Akteuren über landwirtschaftliche Betriebe bis hin zu Wassereinzugsgebieten und ganzen Landschaften reichen. Mit ihrem integrativen Ansatz verknüpft die Forschergruppe das Thema des globalen Klimawandels mit einer Vielzahl von Funktionen von Agrarlandschaften (Multifunktionalität) auf regionaler Skala (siehe auch https://klimawandel.uni-hohenheim.de).

Die von der Arbeitsgruppe entwickelte Software MPMAS benutzt für die Simulation von Landnutzungsentscheidungen die Bibliothek IBM-OSL. Jeder einzelne reale Landnutzer wird durch einen Computeragenten repräsentiert (Multi-Agentensystem), der die individuellen Anbau- und Investitionsentscheidungen mit Hilfe von mathematischer Programmierung (Mixed Integer Linear/Quadratic Programming, MIP) trifft. Während eines Simulationslaufes werden Hundertausende von individuellen MIP-Problemen gelöst. Der verwendete MIP-Löser ist Teil der Legacy-Library IBM-OSL, die nur unter 32-Bit gelinkt werden kann.

Das Tiger-Team stellte eine 32-Bit OpenMPI-Umgebung bereit, mit deren Hilfe der Quellcode erfolgreich übersetzt und das Programm über Knotengrenzen hinweg parallel ausgeführt werden kann.

Mitglieder des Tiger-Teams: Lehrstuhl für Ökonomik der Landnutzung, Hans-Ruthenberg-Institut, Universität Hohenheim; KIM, Universität Hohenheim; kiz, Universität Ulm; KIM Universität Konstanz; Hochschule für Technik Stuttgart; Hochschule Esslingen

Status: abgeschlossen.


Optimierung der Kircherpipeline für HPC-Ressourcen für die Hochdurchsatzanaylse von historischer DNA

In Kooperation mit einer Arbeitsgruppe der Palaeogenetik an der Universität Tübingen wurde ein gesamter Workflow für NGS-Analysen im Rahmen der Palaeogenetik umgesetzt. Hierzu sind entsprechende Skripte und MPI-Programme programmiert worden, den Anwendern ohne HPC-Kenntnisse die Hochdurchsatzanalyse ihrer Daten erlauben.

Mitglieder des Tiger-Teams: Palaeogenetik, Universität Tübingen; Zentrum für Datenverarbeitung, University of Tübingen

Status: abgeschlossen.


HoReX - Hochdurchsatzanalyse zur Retinologischen Expertenanalyse

Ziel des Tiger Teams “Hochdurchsatzanalyse im Rahmen der Nationalen Kohorte” (HoReX) ist die Erstellung eines Konzeptes für die Implementierung der zuvor beschriebenen Analysepipeline auf den HPC-Ressourcen des bwHPC in Baden-Württemberg und dessen Umsetzung. Neben der Entwicklung der lokalen Komponenten gehört hierzu auch der sichere Datenaustausch zwischen den Standorten über ein öffentliches WAN sowie die Optimierung der ARIA Software für den Einsatz auf parallelen HPC-Systemen. Anschließend erfolgt die Entwicklung von geeigneten Tools mit einer grafischen Benutzeroberfläche zur Überwachung und Steuerung der einzelnen Komponenten.

Mitglieder des Tiger-Teams: Forschungsinstitut für Augenheilkunde, Universität Tübingen; Institut für Informatik, Hochschule Reutlingen; Universitäts-Augenklinik, Universität Tübingen; HPC-Kompetenzzentrum für Bioinformatik und Astrophysik, Universität Tübingen; Kommunikations- und Informationszentrum, Universität Ulm

Status: abgeschlossen.


GAMESS Porting to JUSTUS

The General Atomic and Molecular Electronic Structure System (GAMESS), developed by the Gordon research group at Iowa State University, is a general ab initio quantum chemistry package.

The Theoretical Chemistry research group in Heidelberg is working on a broad scope of subjects related to electron and nuclear dynamics in molecules. Such studies often require the calculation of potential energy surfaces (PESs) of the ground state, excited states, ionized, and electron-attached states. GAMESS provides a variety of methodologies by which one can compute the PESs under various approximations. Most importantly, it allows one to calculate high-lying excited states using either configuration-interaction or coupled cluster methods.

Some GAMESS jobs will be running only on few processor cores but require the full physical memory of the machine for each shared memory segment. The default Linux kernel limits for the maximum number of bytes in a single shared memory region is too small to be useful in such use cases.

Some other GAMESS jobs will be running in parallel on multiple nodes. The standard front-end script “rungms” shipped with the GAMESS source package does not support the new TMI fabric for Intel MPI Library, which is the preferred communication fabric and expected to yield best performance for the Qlogic InfiniBand HCAs used at JUSTUS.

The aim of this support activity is to address both of the above mentioned issues and also to provide a common software module for GAMESS that will be generally available to all GAMESS users at the JUSTUS cluster.

Members of the Tiger-Team: Institute of Physical Chemistry, Heidelberg University; KIM, University of Konstanz; kiz, Ulm University

Status: finished.


Portierung und Optimierung von Frealix für den bwUniCluster

Ziel ist Bereitstellung, Performanceanalysen für des Programmpaket Frealix und dessen Anpassung an das Schedulingsystem MOAB am bwUniCluster, um eine hohe Parallelität und Ressourcenauslastung bei geringer Wartezeit zu erreichen. Im Rahmen dieser Unterstützungsmaßnahme werden die Mitarbeiter des Institutes der Pharmazeutischen Biotechnologie an der Universität Ulm beim Zugang zum bwUniCluster und der Etablierung von Workflows im HPC-Umfeld begleitend unterstützt.

Mitglieder des Tiger-Teams: Pharmazeutischen Biotechnologie, Universität Ulm; kiz, Universität Ulm

Status: abgeschlossen.


Density Matrix Renormalization Group Method DMRG

Zielsetzung des Projektes ist die Parallelisierung sequenzieller Programmteile und I/O-Performance-Optimierung für einen verwendeten In-House-Code zur Simulation eindimensionaler Quantensysteme mit der Dichte-Matrix Renormierungsgruppe-Methode. Die aktuelle Version von DMRG nutzt nur POSSIX Threads für die Parallelisierung und deshalb laufen die Jobs nur auf einzelnen Knoten. Die Aufgabe des Tigerteams ist es, den Code über mehrere Knoten mit MPI zu parallelisieren.

Das Tigerteam hat zwei Lösungsvarianten als Beispiele für Datenaustausch mit Boost.MPI vorbereitet und dem Nutzer übergeben. Die Code-Vorlagen dienten dazu, die Funktionalität vom Datenaustausch zu testen, um diese dann in den DMRG-Code vom der Arbeitsgruppe selbst zu implementieren. Nach den erfolgreichen Tests und positiver Rückmeldung von dem Benutzer wurde das Tigerteam-Projekt beendet.

Mitglieder des Tiger-Teams: Institut für Nanotechnologie, KIT; SCC, KIT

Status: abgeschlossen.


Virtual Research Environment CMS

On September 18th 2014, scientists from the field of elementary particle physics and members of the HPC competence center ENM in Freiburg got together to investigate the feasibility of providing virtual research environments on the forthcoming bwForCluster ENM in Freiburg. One of the identified use cases was the LHC project CMS researched by groups in Karlsruhe. The HPC competence center ENM in Freiburg, provided a preliminary cluster installation on older cluster hardware along with the virtualization framework OpenStack, thus providing a testbed for the envisioned solution. The scientists from Karlsruhe provided virtual machine images and an workflow manager to schedule jobs to the cluster. Initially, a static portion of the cluster was reserved for that purpose. In 2015, dynamic allocation of cluster resources was made possible. This required writing a custom plugin for cluster scheduler software and interfacing to the external workflow manager. Work was concluded with a workable solution presented in a workshop on August 17th 2015.

Members of the Tiger Team “Virtual Research Environment CMS”: The Group of Prof. Günter Quast (Georg Fleig, Manuel Giffels, Thomas Hauth, Frank Polgart) from KIT; HPC Competence Center Freiburg.

Status: finished.


Feasibility Study: Virtual Research Environment ATLAS

After the encouraging experience with the Tiger Team “Virtual Research Environment CMS”, a corresponding Tiger Team was established to investigate the feasibility of providing a virtual research environment for users analyzing data of the ATLAS experiment at the LHC. The ATLAS group in Freiburg had not yet investigated the possibility of running their research environment in a virtual machine setup. In a first step, the research environment running on a single machine (cluster compute node) had to be migrated to the OpenStack framework used in the preliminary bwForCluster ENM setup in Freiburg. Second, a static number of bwForCluster nodes was used to start virtual machines, announcing them to the local ATLAS project servers. After that, the virtual machines accepted jobs from local ATLAS users and successfully completed them. As an additional stress test, the WLHC testing framework HammerCloud was used (see report). This concluded the feasibility study. In a follow-up Tiger Team, the dynamic allocation of cluster nodes will be investigated.

Members of the Tiger Team “Virtual Research Environment ATLAS”: The Group of Prof. Markus Schumacher (Anton Gamel, Michael Böhler) from Freiburg; HPC Competence Center Freiburg.

Status: finished.


2014

Pseudo-Parallelization of SMOLDYN

Researchers in the group of Prof. Dr. Ana J. García-Sáez are using high performance resources to simulate the time dependent spatial distribution of molecules and second messengers in biological cells. The simulations are conducted with the program Smoldyn that was especially developed for this kind of simulations. It is based on a theory of diffusion-limited chemical reaction rates that was derived by von Smoluchowski in 1917. The name “Smoldyn” is short for Smoluchowski dynamics, which comes from this theory (Smoldyn User’s Manual for Smoldyn version 2.31, 2013 Steve Andrews). A rudimentary parallelization based on threads is implemented into Smoldyn. However, it is not very well tested and usage is generally not recommended, as stated in the manual.

The key project objective of this Tiger Team is to provide a python script for high throughput parameters studies with Smoldyn on the bwUniCluster. Smoldyn has very powerful macro functionality for conducting parameter studies that allows users in combination with python scripts to change different parameters in a study automatically. Each simulation is then submitted as separate job to the queuing system of the cluster. This method allows the user to increase the number of calculations in an efficient way.

The project is successfully finished and the code developed by the Tiger Team is in use for production runs.

An example is attached to the bwHPC wiki article Smoldyn and can be started on the bwUniCluster by copying the files into a directory and execute.

Status: finished.


QIIME in HPC-Bereich

Zielsetzung des Tiger-Teams war die Unterstützung einer Arbeitsgruppe der Mikrobiologie an der Universität Ulm bei der Datenauswertung von Pyrosequenzierungen mit Hilfe der Software “QIIME” (Quantitative Insights Into Microbial Ecology). Dieses Programmpaket ermöglicht den Vergleich und die Untersuchung mikrobieller Lebensgemeinschaften in verschiedenen Habitaten. Aufgrund des längerfristig erwarteten Speicherbedarfs für diese Art der Analysen sollten die Voraussetzungen für den Einstieg der Arbeitsgruppe in das HPC-Umfeld geschaffen werden. Zu diesem Zweck wurde OIIME als Softwaremodul auf dem bwUniCluster bereit gestellt und die Arbeitsgruppe an die Nutzung der Software in einer HPC-Umgebung heran geführt.

Mitglieder des Tiger-Teams: Institut für Mikrobiologie und Biotechnologie, Universität Ulm; kiz, Universität Ulm

Status: abgeschlossen.


Automatische Kodierung parlamentarischer Anfragen

Ziel ist die thematische Kodierung aller parlamentarischen Anfragen seit der ersten Legislaturperiode mit Hilfe des maschinellen Lernverfahrens für die automatische Textklassifizierung RTextTools (R package) auf dem UniCluster.

Mitglieder des Tiger-Teams: Universität Konstanz

Status: abgeschlossen.


Mathematica Integration

Following a user request from Ulm in March 2014, a Tiger Team was established to investigate license management issues with respect to the commercial Mathematica software package from Wolfram Research. The underlying problem was that every university has its own Mathematica license agreement. To this end, two related problems had to be solved. First, the legal implications needed to be clarified: The Tiger Team issued a formal request to Wolfram Research, asking whether users were allowed to use Mathematica on the bwUniCluster in Karlsruhe using the license from their home university. Second, a technical solution had to be devised to separate the different license pools: Mathematica users on the bwUniCluster should only get licenses from their corresponding university license pools. In Mai 2014, the final solution had been worked out. According to Wolfram Research, it is covered by the license agreement. In principle, the solution is applicable to all bwForClusters. For usage of the Mathematica software package, see the bwHPC Best Practices Repository.

Members of the Tiger-Team: HPC Competence Centers Freiburg and Ulm

Status: finished.


Unterstützung von Workflows zur direkten Nutzung der LSDF in Heidelberg

Die Auswertung von großen Datenmengen in der LSDF in Heidelberg erforderte den direkten Zugriff auf die Daten von einem Hochleistungsrechner aus. Das Tiger-Team hat eine mögliche technische Anbindung der LSDF an den bwGRiD Cluster Heidelberg/Mannheim realisiert und im Rahmen einer Informationsveranstaltung einem größeren Nutzerkreis vorgestellt. Der Prototyp dieser Anbindung wurde von BioQuant-Nutzern erfolgreich für Produktionsrechnungen verwendet. Durch das Feedback der Nutzer konnten wichtige Erfahrungen für die Anbindung zukünftiger HPC- und Speichersysteme gesammelt werden.

Mitglieder des Tiger-Teams: BioQuant, Universität Heidelberg; URZ, Universität Heidelberg; RUM, Universität Mannheim

Status: abgeschlossen.


High-Throughput Picture Analysis in Ophthalmologie

Ziel des HTPAO Tiger Teams war die Optimierung der Parallelisierung des sogenannten ARIA Matlab Skriptes. Dieses Skript dient der automatisierten Auswertung von Bildern der Netzhaut im Rahmen der „Nationalen Kohorte“. Dies ist ein Netzwerk deutscher Forschungseinrichtungen aus der Helmholtz-Gemeinschaft, den Universitäten, der Leibniz-Gemeinschaft und der Ressortforschung. Es hat die Aufgabe, deutschlandweit den Aufbau einer groß angelegten Initiative für die Durchführung einer groß angelegten Langzeit-Bevölkerungsstudie ergriffen, um

  • die Ursachen von Volkskrankheiten wie z.B. Herz-Kreislauferkrankungen, Krebs, Diabetes, Demenzerkrankungen und Infektionskrankheiten aufzuklären,
  • Risikofaktoren zu identifizieren,
  • Wege einer wirksamen Vorbeugung aufzuzeigen, sowie
  • Möglichkeiten der Früherkennung von Krankheiten zu identifizieren.

Die Ophthalmologie der Universität Tübingen übernimmt im Rahmen der NK die Auswertung von Abbildungen der Netzhaut. Hierbei werden mit Hilfe des Matlab Programms ARIA automatisch Venen und Atrien identifiziert, der Durchmesser und anschließend das Verhältnis bestimmt. Die Daten werden vom DKFZ Heidelberg bereitgestellt und auf dem bwGRiD Cluster in Tübingen ausgewertet. Hierfür sind im Rahmen des Tiger Teams bash Skript für die automatisierte Auswertung erstellt worden und die Berechnungen mit dem ARIA Programm konnten durch Code Optimierung um das 10fache beschleunigt werden. Die bash-basierte Job Submission dient vor allem der Optimierung des Matlab Codes und ist nicht für die Produktion vorgesehen. Hierfür wird zurzeit in Kooperation mit der Hochschule Reutlingen ein auf Tomcat basierende Portallösung, um die Daten vom DFKZ Heidelberg zu empfangen, sie auf den bwGRiD Clustern Tübingen zu transferieren, zu Analysieren und die Resultate an den mit der Auswertung befassten Mediziner über einen Java Client zur Verfügung zu stellen. Die Entwicklung der Portal Komponenten findet an der Reutlingen statt, die Komponenten für die MOAB Job Submitierung wurden vom ZDV Reutlingen entworfen und in Java implementiert.

Mitglieder des Tiger-Teams: Ophthalmologie, Universität Tübingen; Zentrum für Datenverarbeitung, University of Tübingen

Status: finished.