On-the-fly postprocessing and feature extraction of flame and flow properties obtained by Direct Numerical Simulations

Direkte numerische Simulation (DNS) ist der derzeit wohl bestmögliche Ansatz zur numerischen Simulation von turbulenten Strömungen. DNS-Ansätze für hohe Reynolds-Zahlen benötigen allerdings Milliarden von Gitterpunkten und werden über Tausende von Zeitschritten berechnet. Werden noch komplexere Strömungen zusammen mit chemischen Reaktionen behandelt, muss eine Vielzahl von Variablen in Raum und Zeit analysiert und korreliert werden, um reduzierte Modelle zu erhalten und zu testen. Dies führt zu riesigen Mengen von Rohdaten (derzeit Terabytes oder sogar Petabytes), die in akzeptabler Zeit weder gespeichert noch über Netzwerk übertragen werden können. Es ist zu erwarten, dass in naher Zukunft der Aufwand zur Übertragung und Speicherung der Daten den Aufwand zu deren Erzeugung übersteigen wird, und dass die Datenspeicherung/Übertragung zum Flaschenhals der DNS wird. Um dies zu lösen, wird ein Postprocessing der Strömungsdaten vorgeschlagen, welches   gleichzeitig und simultan zur DNS erfolgt. Dieses erfolgt in Form einer on-the-fly Feature-Extraktion: relevante Features der Strömungs- und Skalarfelder werden parallel zur DNS extrahiert und abgespeichert, so dass die Strömungs-Rohdaten selbst gar nicht mehr gespeichert werden müssen. Dieser Ansatz hat das Potential, dass nur noch ein Bruchteil der ursprünglichen Datenmenge gespeichert werden muss, ohne wesentliche Information über der Strömung zu verlieren. Um dies umzusetzen, ist jedoch eine Reihe von Herausforderungen in der Datenanalyse, der Feature Extraktion, der Parallelisierung und der numerischen Simulation zu lösen.

Direct Numerical Simulations (DNS) are presently recognized as the best possible solution to investigate numerically turbulent flows. However, DNS at high Reynolds numbers require billions of grid points and are pursued during thousands of time iterations. When considering even more complex flows involving chemical reactions, many variables have to be analyzed and correlated in space and time in order to test and develop reduced models. This leads to Terabytes or even Petabytes of raw data, which cannot be stored any more on existing disk space, nor transferred within an acceptable time using any existing computer network. It is therefore necessary to develop new approaches. A simultaneous analysis and postprocessing of the generated flow data during the corresponding DNS simulations (on-the-fly analysis) appears to be particularly promising in this regard, since significantly less data has to be stored and handled this way. This analysis is realized by on-the-fly feature extraction: features of the flow and scalar fields are extracted in parallel to data generation by DNS, such that the data files do not need to be stored any more. However, this is associated with considerable challenges concerning data analysis, feature extraction, parallelization and relevant numerical techniques.