Open Access

Benjamin Klinkebiel

• Die vorliegende Bachelorarbeit untersucht die Anwendung der Transformer-Architektur bei der Entwicklung eines Chatbots für die Auskunft von Studieninformationen. Sie bietet eine gründliche Einführung in Chatbots, deren Funktionsweise und Klassifikation sowie in die Grundlagen neuronaler Netzwerke, Deep Learning und Natural Language Processing. Insbesondere die Transformer-Architektur und ihreDie vorliegende Bachelorarbeit untersucht die Anwendung der Transformer-Architektur bei der Entwicklung eines Chatbots für die Auskunft von Studieninformationen. Sie bietet eine gründliche Einführung in Chatbots, deren Funktionsweise und Klassifikation sowie in die Grundlagen neuronaler Netzwerke, Deep Learning und Natural Language Processing. Insbesondere die Transformer-Architektur und ihre Hauptkomponenten werden eingehend analysiert. Im Zuge dessen werden auch aktuelle Forschungen im Bereich Large Language Models und Fine-Tuning berücksichtigt. Im praktischen Teil erfolgt die Darstellung der Konzeption, Implementierung und Evaluierung eines Chatbots für die Studienauskunft. Der erstellte Chatbot nutzt eine semantische Suche in Kombination mit einem Large Language Model, was sich als attraktive Alternative zu herkömmlichen Chatbots erweist. Zwar ist der aktuelle Entwicklungsstand des Chatbots noch nicht für die produktive Nutzung geeignet, dennoch zeigt er Potenzial für vielfältige Einsatzmöglichkeiten bei fortlaufender Entwicklung. Die Arbeit schließt mit einer Diskussion ethischer Aspekte und zeigt zukünftige Forschungsmöglichkeiten auf. Die erzielten Erkenntnisse könnten für eine Vielzahl von Kontexten relevant sein und einen signifikanten Beitrag zur Entwicklung effizienter und genauer Informationsabfragesysteme leisten.…