Volltext-Downloads (blau) und Frontdoor-Views (grau)

Evaluation Attention-basierter Deep Learning Verfahren zur Luftschadstoffprognose

  • Für die Prognose von Zeitreihen sind bezüglich der Qualität der Vorhersagen heutzutage neuronale Netze und Deep Learning das Mittel der Wahl. LSTM-Netzwerke etablierten sich dazu als eine gut funktionierende Herangehensweise. 2017 wurde der auf Attention basierende Transformer für die Übersetzung von Sprache vorgestellt. Aufgrund seiner Fähigkeit mit sequenziellen Daten zu arbeiten, ist er auchFür die Prognose von Zeitreihen sind bezüglich der Qualität der Vorhersagen heutzutage neuronale Netze und Deep Learning das Mittel der Wahl. LSTM-Netzwerke etablierten sich dazu als eine gut funktionierende Herangehensweise. 2017 wurde der auf Attention basierende Transformer für die Übersetzung von Sprache vorgestellt. Aufgrund seiner Fähigkeit mit sequenziellen Daten zu arbeiten, ist er auch für Zeitreihenprobleme interessant. Diese wissenschaftliche Arbeit befasst sich mit der Vorhersage von Zeitreihen mit einem Transformer. Es wird analysiert, inwiefern sich ein Transformer für Zeitreihenvorhersagen von einem Transformer für Sprachübersetzungen unterscheidet und wie gut die Vorhersagen im Vergleich zu denen eines LSTM-Netzwerkes abschneiden. Dazu werden ein LSTM- und ein Transformer-Netzwerk auf Luftqualitäts- und Wetterdaten in Berlin trainiert, um den Feinstaubgehalt (PM25) in der Luft vorherzusagen. Die Ergebnisse werden mit einem Benchmark-Modell anhand von Evaluationsmetriken verglichen. Anschließend wird evaluiert, wie die Fehler des Transformers reduziert werden können und wie gut der Transformer generalisiert.show moreshow less
  • For the forecasting of time series, neural networks and deep learning are nowadays the means of choice with regard to the quality of the forecasts. LSTM-networks have established themselves as a well performing approach. The attention-based transformer for language translation was introduced in 2017. Due to its ability to work with sequential data, it is also interesting for time series problems.For the forecasting of time series, neural networks and deep learning are nowadays the means of choice with regard to the quality of the forecasts. LSTM-networks have established themselves as a well performing approach. The attention-based transformer for language translation was introduced in 2017. Due to its ability to work with sequential data, it is also interesting for time series problems. This scientific work addresses the forecasting of time series with a transformer. It analyzes how a transformer for time series forecasting differs from a transformer for language translation and how well the forecasts perform compared to those of an LSTM-network. For this purpose, an LSTM- and a transformer-network are trained on air quality and weather data in Berlin to forecast the particulate matter (PM25) content in the air. The results are compared to a benchmark model using evaluation metrics. Then, it is evaluated how the errors of the transformer can be reduced and how well the transformer generalizes.show moreshow less

Download full text files

  • Masterthesis_Jonas_Zimmer.pdf
    deu

Export metadata

Additional Services

Share in Twitter Search Google Scholar

Statistics

frontdoor_oas
Metadaten
Author:Jonas Zimmer
Title Additional (English):Evaluation of Attention-based Deep Learning Methods for Air Pollution Forecasting
Place of publication:Offenburg
Year of Publication:2022
Date of first Publication:2022/04/26
Page Number:vi, 76, xii
GND Keyword:Aufmerksamkeit; Deep learning; Luftverunreinigender Stoff; Prognose; Verfahren
Tag:Attention-basiert; Deep Learning Verfahren; Luftschadstoffprognose
LSTM; Transformer
DDC classes:000 Allgemeines, Informatik, Informationswissenschaft
Advisor:Janis Keuper, Norman Spangenberg
Publishing Institution:Hochschule Offenburg
Granting Institution:Hochschule Offenburg
Document Type:Master's Thesis
Language:German
Release Date:2022/05/16
Institutes:Abschlussarbeiten / Master-Studiengänge / INFM
Open Access: Closed Access 
Licence (German):License LogoCreative Commons - CC BY-NC-SA - Namensnennung - Nicht kommerziell - Weitergabe unter gleichen Bedingungen 4.0 International