Refine
Document Type
- Bachelor Thesis (1)
- Master's Thesis (1)
Language
- German (2)
Has Fulltext
- yes (2)
Is part of the Bibliography
- no (2)
Keywords
- Transformer (2) (remove)
Institute
Open Access
- Closed (1)
- Closed Access (1)
Die vorliegende Bachelorarbeit untersucht die Anwendung der Transformer-Architektur bei der Entwicklung eines Chatbots für die Auskunft von Studieninformationen. Sie bietet eine gründliche Einführung in Chatbots, deren Funktionsweise und Klassifikation sowie in die Grundlagen neuronaler Netzwerke, Deep Learning und Natural Language Processing. Insbesondere die Transformer-Architektur und ihre Hauptkomponenten werden eingehend analysiert. Im Zuge dessen werden auch aktuelle Forschungen im Bereich Large Language Models und Fine-Tuning berücksichtigt.
Im praktischen Teil erfolgt die Darstellung der Konzeption, Implementierung und Evaluierung eines Chatbots für die Studienauskunft. Der erstellte Chatbot nutzt eine semantische Suche in Kombination mit einem Large Language Model, was sich als attraktive Alternative zu herkömmlichen Chatbots erweist. Zwar ist der aktuelle Entwicklungsstand des Chatbots noch nicht für die produktive Nutzung geeignet, dennoch zeigt er Potenzial für vielfältige Einsatzmöglichkeiten bei fortlaufender Entwicklung.
Die Arbeit schließt mit einer Diskussion ethischer Aspekte und zeigt zukünftige Forschungsmöglichkeiten auf. Die erzielten Erkenntnisse könnten für eine Vielzahl von Kontexten relevant sein und einen signifikanten Beitrag zur Entwicklung effizienter und genauer Informationsabfragesysteme leisten.
Für die Prognose von Zeitreihen sind bezüglich der Qualität der Vorhersagen heutzutage neuronale Netze und Deep Learning das Mittel der Wahl. LSTM-Netzwerke etablierten sich dazu als eine gut funktionierende Herangehensweise. 2017 wurde der auf Attention basierende Transformer für die Übersetzung von Sprache vorgestellt. Aufgrund seiner Fähigkeit mit sequenziellen Daten zu arbeiten, ist er auch für Zeitreihenprobleme interessant. Diese wissenschaftliche Arbeit befasst sich mit der Vorhersage von Zeitreihen mit einem Transformer. Es wird analysiert, inwiefern sich ein Transformer für Zeitreihenvorhersagen von einem Transformer für Sprachübersetzungen unterscheidet und wie gut die Vorhersagen im Vergleich zu denen eines LSTM-Netzwerkes abschneiden. Dazu werden ein LSTM- und ein Transformer-Netzwerk auf Luftqualitäts- und Wetterdaten in Berlin trainiert, um den Feinstaubgehalt (PM25) in der Luft vorherzusagen. Die Ergebnisse werden mit einem Benchmark-Modell anhand von Evaluationsmetriken verglichen. Anschließend wird evaluiert, wie die Fehler des Transformers reduziert werden können und wie gut der Transformer generalisiert.