Ein Auto, das hören kann, präsentiert das Fraunhofer-Institut für Digitale Medientechnologie IDMT auf der IAA MOBILITY in München. Die Forscherinnen und Forscher haben einen Prototypen entwickelt, der akustische Sensoren in die Fahrzeugtechnologie integriert und so die Sicherheit und Zuverlässigkeit im Straßenverkehr erhöht.
Aktuelle Fahrzeuge sind mit verschiedenen Fahrerassistenzsystemen ausgestattet, darunter Kameras, Lidar und Radar, die das Einparken und Spurhalten unterstützen. Sie sind quasi die Augen des Autos und erfassen relevante Objekte in der Umgebung. Was den Fahrzeugen jedoch bisher fehlt, sind die Ohren. »Um das Verkehrsgeschehen rundum aufmerksam zu beobachten, ist es entscheidend, Außengeräusche wahrzunehmen und richtig einzuordnen. Viele Situationen im Straßenverkehr kündigen sich nämlich akustisch an, wie beispielsweise ein herannahendes Einsatzfahrzeug, das mit seiner Sirene auf sich aufmerksam macht«, erklärt Moritz Brandes, Projektleiter von »The Hearing Car« am Fraunhofer IDMT.
Am Institutsteil für Hör-, Sprach- und Audiotechnologie in Oldenburg arbeitet ein Forscherteam um Moritz Brandes in enger Kooperation mit Automobilherstellern und Zulieferern an den erforderlichen Sensor- und Analysetechnologien für das hörende Auto. Dafür wird ein spezielles Fahrzeug eingesetzt, das mit einem vom Fraunhofer IDMT entwickelten Messsystem als rollende Demo-Plattform fungiert und so das Erfassen wichtiger Trainingsdaten ermöglicht.
Die akustische Umfeldanalyse wird künftig nicht nur in der Lage sein, Rettungswagen zu erkennen, sondern beispielsweise auch menschliche Stimmen oder Spielgeräusche beim Einbiegen in einen verkehrsberuhigten Bereich. Akustik benötigt keine freie Sichtachse wie optische Systeme – das Auto kann also buchstäblich um die Ecke hören. So können automatisierte Fahrsysteme mit erhöhter Vorsicht reagieren und agieren – ähnlich wie ein menschlicher Fahrer, der spielende Kinder hört, bevor sie zu sehen sind. Zudem werden die Außengeräusche in bestimmten Fahrmanövern über die Kopfstütze in das Fahrzeuginnere übertragen, um die Aufmerksamkeit des Fahrenden auf wichtige Umgebungsgeräusche zu lenken.
»Hey Auto, öffne die Heckklappe« – auf diese oder ähnliche Weise kann man in Zukunft mit dem Fahrzeug kommunizieren. Die neue Funktion zur Sprecherverifikation ermöglicht es zudem, dass nur autorisierte Personen mit dem Fahrzeug interagieren können. Die Forscherinnen und Forscher entwickeln nicht nur KI-Algorithmen zur akustischen Ereigniserkennung, sondern arbeiten auch an einer optimalen Signalaufnahme durch Sensorpositionierung, einer Signalvorverarbeitung und -verbesserung sowie an einer Störgeräuschbefreiung.
Voraussetzung für die Integration dieser Technologien und ihr Zusammenspiel sind hochwertige Mikrofone in der Fahrzeughülle. Diese sind mit dem Bordnetz verbunden. Um den Einfluss von Fahrtwindgeräuschen zu minimieren, entwickelt und testet das Team um »The Hearing Car« auch geeignete Gehäuse und Abschirmungen für Luftschallsensoren. Moritz Brandes erklärt: »Die Anzahl und Platzierung der Mikrofone sind entscheidend für die Erkennung von Umgebungsgeräuschen. Unser Team hat Lösungen entwickelt, die sowohl wind- als auch wetterfest sind und unter extremen Temperaturen funktionieren. Mit unserem Demofahrzeug haben wir Tests von Portugal bis zum Polarkreis durchgeführt, um die Technologien unter verschiedenen Bedingungen zu erproben. Die Ergebnisse sind vielversprechend und zeigen das Potenzial unserer Entwicklungen für die Zukunft des autonomen Fahrens.«
Auch die inneren Werte des hörenden Autos überzeugen: Verschiedene Technologien sollen ein neues Niveau der Gesundheitsüberwachung und Fahrerzustandserkennung im Fahrzeuginnenraum ermöglichen. So erfasst ein Kurzstrecken-Radar-Sensor die Vitaldaten des Fahrenden und bietet eine kontaktlose Überwachung der Gliedmaßenbewegung sowie von Atmungs- und Herzschlagfrequenzen mit Hilfe innovativer Auswertungsalgorithmen. Ein mobiles, vom Fraunhofer IDMT-HSA entwickeltes EEG-Sensorsystem misst die Gehirnströme des Fahrers oder der Fahrerin, um Veränderungen der Aufmerksamkeit, insbesondere während monotoner Fahrten, zu erfassen. Darüber hinaus ergänzt eine Stimmanalyse der Insassen die Fahrerzustandsüberwachung, indem sie Stress und Aufregung erkennt und diese Informationen an die Insassen zurückmeldet.
Für beste Unterhaltung an Bord sorgt die Technologie »YourSound«, ein System zur individuellen Klangverbesserung im Fahrzeug. Das Verfahren versetzt Nutzerinnen und Nutzer von Audio-Devices, wie zum Beispiel Infotainment-Systemen in Fahrzeugen, auf spielerische Art in die Lage, die Audiowiedergabe auf eigene Hörvorlieben einzustellen – auch ohne Kenntnisse von Pegeln oder Frequenzen. Als virtueller Assistent optimiert das System die Soundwiedergabe und verbesserte so den Klangkomfort.
Die Technologieentwicklung für das hörende Auto wird im Programm »Vorab« durch das Niedersächsische Ministerium für Wissenschaft und Kultur und die Volkswagen Stiftung sowie im Forschungsprojekt »Integrale agile E/E-Entwicklung für fusionierte und standardisierte Energie- und Datenbordnetze« – kurz KI4BoardNet – durch das Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) gefördert.
Auf der IAA MOBILITY 2025 in München stellen die Forschenden des Fraunhofer IDMT aus Oldenburg vom 9. bis 12. September ihr Demofahrzeug »The Hearing Car« in Halle A2 am Stand C10 vor.
Fraunhofer-Gesellschaft