Open Access

Erik Huzly

• Hintergrund: Die Versorgung von Patienten mit Cochleaimplantaten erfordert im Rahmen der Rehabilitation nicht nur Hörtrainings, sondern auch regelmäßige Erfassungen des Hörvermögens. Diese Tests konzentrieren sich hierbei meist auf das Vertehen von Sprache. Hierbei müssen Patienten Wörter oder Zahlen unter Vorhandensein von Störgeräuschen verstehen. Diese Störgeräusche sind in der RegelHintergrund: Die Versorgung von Patienten mit Cochleaimplantaten erfordert im Rahmen der Rehabilitation nicht nur Hörtrainings, sondern auch regelmäßige Erfassungen des Hörvermögens. Diese Tests konzentrieren sich hierbei meist auf das Vertehen von Sprache. Hierbei müssen Patienten Wörter oder Zahlen unter Vorhandensein von Störgeräuschen verstehen. Diese Störgeräusche sind in der Regel künstlicher Natur wie Rauschen. Das Ziel dieser Arbeit ist es, diese künstlichen Störgeräusche durch realistischere zu ersetzen und zusätzlich einen Raumklang sowohl für die Störgeräusche als auch für die zu verstehenden Wörter oder Zahlen zu implementieren. Um die Erfassung der multimodalen Sprachwahrnehmung zu verbessern, wird nicht nur eine virtuelle auditive Umgebung geschaffen, sondern auch eine visuelle Komponente integriert, die auf einem Head-Mounted Display (HMD) wiedergegeben werden kann. Das Ziel ist es, eine audiovisuelle virtuelle Realität zu schaffen, die alltagsrelevante Kommunikationssituationen widerspiegelt und somit die Validität und Relevanz von Hörtests erhöht. Umsetzung: Für die Umsetzung wurden Werkzeuge zur Simulation von Raumakustik und eine hochwertige visuelle Darstellung auf einem HMD benötigt. An der Technischen Universität München wurde das Tool "real-time Simulated Open Field Environment" (rtSOFE) entwickelt, das durch die Berechnung von Raumimpulsantworten Raumakustik simuliert und die direkte Wiedergabe von Schallquellen in virtuellen Klangfeldern ermöglicht. Für die visuelle Umgebung wurde die Unreal Engine 5 gewählt, die sehr realistische Darstellungen virtueller Räume ermöglicht und hauptsächlich in der Videospielindustrie verwendet wird. Ergebnisse: Mit den Tools rtSOFE und Unreal Engine wurden drei realistische Umgebungen geschaffen: Ein Pub, ein Wohnzimmer und eine U-Bahn-Station. Diese Umgebungen enthalten realitätsnahe Störgeräusche, die zur jeweiligen Umgebung passen. Probanden können sich dank des HMD in diesen Umgebungen frei bewegen. Zudem wurde ein Testsetup unter Verwendung von Sätzen aus dem Oldenburger Satztest innerhalb dieser audiovisuellen Umgebung umgesetzt. Fazit: Das entwickelte Testsetup in der audiovisuellen Umgebung ermöglicht eine realistischere und alltagsnähere Erfassung des Hörvermögens im Vergleich zu herkömmlichen Hörtests. Die visuelle Komponente trägt zur Steigerung der Realitätsnähe bei. Allerdings fehlt im aktuellen Setup die Synchronisation zwischen der auditiven und visuellen Umgebung, insbesondere in Form von Lippenbewegungen (Lip Syncing), um eine umfassende Erfassung der multimodalen Sprachwahrnehmung zu ermöglichen.…