TY  - THES
U1  - Master Thesis
A1  - Zimmer, Jonas
T1  - Evaluation Attention-basierter Deep Learning Verfahren zur Luftschadstoffprognose
N2  - Für die Prognose von Zeitreihen sind bezüglich der Qualität der Vorhersagen heutzutage neuronale Netze und Deep Learning das Mittel der Wahl. LSTM-Netzwerke etablierten sich dazu als eine gut funktionierende Herangehensweise. 2017 wurde der auf Attention basierende Transformer für die Übersetzung von Sprache vorgestellt. Aufgrund seiner Fähigkeit mit sequenziellen Daten zu arbeiten, ist er auch für Zeitreihenprobleme interessant. Diese wissenschaftliche Arbeit befasst sich mit der Vorhersage von Zeitreihen mit einem Transformer. Es wird analysiert, inwiefern sich ein Transformer für Zeitreihenvorhersagen von einem Transformer für Sprachübersetzungen unterscheidet und wie gut die Vorhersagen im Vergleich zu denen eines LSTM-Netzwerkes abschneiden. Dazu werden ein LSTM- und ein Transformer-Netzwerk auf Luftqualitäts- und Wetterdaten in Berlin trainiert, um den Feinstaubgehalt (PM25) in der Luft vorherzusagen. Die Ergebnisse werden mit einem Benchmark-Modell anhand von Evaluationsmetriken verglichen. Anschließend wird evaluiert, wie die Fehler des Transformers reduziert werden können und wie gut der Transformer generalisiert.
N2  - For the forecasting of time series, neural networks and deep learning are nowadays the means of choice with regard to the quality of the forecasts. LSTM-networks have established themselves as a well performing approach. The attention-based transformer for language translation was introduced in 2017. Due to its ability to work with sequential data, it is also interesting for time series problems. This scientific work addresses the forecasting of time series with a transformer. It analyzes how a transformer for time series forecasting differs from a transformer for language translation and how well the forecasts perform compared to those of an LSTM-network. For this purpose, an LSTM- and a transformer-network are trained on air quality and weather data in Berlin to forecast the particulate matter (PM25) content in the air. The results are compared to a benchmark model using evaluation metrics. Then, it is evaluated how the errors of the transformer can be reduced and how well the transformer generalizes.
KW  - Transformer
KW  - LSTM
KW  - Deep Learning Verfahren
KW  - Luftschadstoffprognose
KW  - Attention-basiert
KW  - Deep learning
KW  - Verfahren
KW  - Luftverunreinigender Stoff
KW  - Prognose
KW  - Aufmerksamkeit
Y2  - 2022
SP  - vi, 76, xii
S1  - vi, 76, xii
CY  - Offenburg
ER  -