Eine Technologie, die menschliche Bewegungen im Fahrzeug automatisch und mithilfe von KI erfasst und analysiert, haben Forschende am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB entwickelt. Das sogenannte AktiMeter ist ideal für die Marktforschung, nutzerzentrierte Produktentwicklung oder Ergonomiestudien.
Eyetracking-Systeme finden bereits in vielen Branchen Anwendung, etwa in der Marktforschung oder bei der Entwicklung ablenkungsfreier Fahrzeugfunktionen. Am Fraunhofer IOSB haben Forschende nun ein neuartiges Messsystem entwickelt, das diese Systeme ergänzt: Das AktiMeter erfasst zusätzlich den gesamten Körper der Insassen. Daraus lassen sich Sitzposition, Bewegungen und Gesten sowie Aktivitäten und Intentionen ableiten.
Die Technologie kann feststellen, wo sich Arme und Hände befinden, in welche Richtung sich der Kopf des Fahrers oder der Fahrerin wendet und welche Objekte im Innenraum des Fahrzeugs genutzt werden. Dies eröffnet neue Perspektiven für die Forschung, da sich lange Autofahrten automatisiert auswerten lassen.
Das Fraunhofer IOSB ist auf Computervision spezialisiert, das heißt die Forschenden interpretieren alles, was optische Sensoren wie Kameras aufnehmen. Das Team um Dr. Frederik Diederichs nutzt diese Informationen, um die Mensch-KI-Interaktion im Fahrzeug zu verbessern. Zukünftige Anwendungen des autonomen Fahrens könnten von den gesammelten Daten profitieren, da sie als Grundlage für die Entwicklung intelligenter Fahrassistenzsysteme dienen, die auf das Verhalten und die Bedürfnisse der Insassen reagieren.
Das AktiMeter kombiniert Computervision-Verfahren auf Basis Künstlicher Intelligenz, die Körperhaltungen sowie Objekte erkennen können, mit einem 3D-Modell des Fahrzeugs. Daraus wiederum können Machine-Learning-Verfahren weitergehende Rückschlüsse ziehen, etwa auf die Tätigkeit. Der Ansatz eignet sich besonders für energiesparende und schnelle Auswertungen ohne Cloud-Anbindungen oder leistungsstarke Hardware im Auto. Ergänzt durch moderne Vision-Language-Modelle können auch komplexe und von den Entwicklern nicht vorhergesehene Innenraumsituationen erfasst werden. So werden die Anwender des AktiMeters in die Lage versetzt, eigene spezifische Szenarien zu definieren, die erfasst werden sollen.
Durch die automatisierte Interpretation der Daten entsteht ein Digitaler Zwilling – ein digitales 3D-Abbild des Fahrzeuginnenraums. Aus dieser Datenquelle werden direkt im Fahrzeug Schlussfolgerungen gezogen. Dadurch wird der Speicherbedarf minimiert, und DSGVO-relevante Bilddaten müssen nicht gespeichert werden. Das AktiMeter ermöglicht es den Kunden, detaillierte Statistiken über das tatsächliche Nutzungsverhalten im Auto und Lkw zu erstellen.
Für Automobilhersteller und deren Forschungsabteilungen ist das AktiMeter ein wertvolles Tool zur Prototypenentwicklung. Anonymisierte Langstreckendaten über das Nutzungsverhalten helfen, neue KI-Funktionen zu trainieren – ohne teure, manuelle Auswertungen.
Auch Marktforschungsinstitute können mit Hilfe des AktiMeters empirische Daten über die Nutzung neuer Fahrzeugfunktionen erheben und automatisch auswerten: Wie oft wird der Getränkehalter genutzt, wie unterstützt das Interieur beim Essen, wie oft wird tatsächlich nach dem Handy gegriffen und wie oft ist der Sitz falsch eingestellt? Besonders beim automatisierten Fahren sind diese Fragen bedeutend: Was machen die Insassen am liebsten bei automatisierter Fahrt, und wie kann das Interieur bestmöglich darauf ausgerichtet werden? Die gewonnenen Erkenntnisse unterstützen die Entwicklung marktgerechter Lösungen und fördern die Innovationskraft der Branche. Insgesamt zielen alle diese Anwendungsmöglichkeiten darauf ab, die Benutzerfreundlichkeit im Fahrzeug zu steigern und das Fahrerlebnis nachhaltig zu verbessern.
Eine Herausforderung in der Forschung und Anwendung liegt in den bisher verwendeten Verfahren: »Bisherige Verfahren sind auf vorher festgelegte Situationen trainiert, von denen aufwendig Trainingsdaten gesammelt wurden. Durch den Einsatz generativer KI ist es mit dem AktiMeter nun möglich, flexibel Situationen zu definieren, ohne Trainingsdaten sammeln zu müssen«, erklärt Dr. Manuel Martin, Senior Scientist der Arbeitsgruppe Perceptual User Interfaces am Fraunhofer IOSB.
Aktuell wird das AktiMeter bereits in der Prototypenentwicklung getestet. Ab Mitte 2026 ist die Markteinführung des AktiMeters geplant. Bis dahin arbeiten die Forschenden daran, die Messsysteme zu validieren und Aussagen darüber zu treffen, wie zuverlässig die Systeme in welchen Situationen sind. Derzeit wird ein Gesamtsystem konzipiert, das Kameras, einen Computer und eine Bedienungsanleitung enthält, damit Kunden das System mittels eines nutzerfreundlichen Interface selbst kalibrieren und die gewünschten Auswertungen durchführen können. »Wir sind überzeugt, dass das AktiMeter eine wichtige Rolle in der zukünftigen Fahrzeuginnenraumforschung spielen wird. Es bietet eine flexible und modulare Lösung, die sich an die Bedürfnisse der Automobilindustrie anpassen lässt«, so Diederichs abschließend.
Die Forschenden präsentieren ihre Technologie in einem Level-3-automatisierten Fahrzeug am Fraunhofer-Gemeinschaftsstand (Halle A2, Stand C10) auf der IAA MOBILITY (9. bis 12. September 2025).
Fraunhofer-Gesellschaft