Ein Forschungsprojekt des Fraunhofer-Instituts, in Zusammenarbeit mit verschiedenen Unternehmen, zielt darauf ab, die Kommunikation zwischen Fahrzeug und Fahrer je nach Automatisierungsgrad zu optimieren. Die Kombination von Innenraum-Sensorik und Sprachmodellen, bekannt als Vision-Language-Modelle, soll den Komfort und die Sicherheit zukünftiger Autos erhöhen.
In naher Zukunft könnten Autos Fahrerinnen und Fahrer in Echtzeit warnen und informieren, wie beispielsweise über kurvenreiche Straßen, bevorstehende Autobahnfahrten oder sich ändernde Wetterbedingungen, die manuelles Fahren erforderlich machen. Mit zunehmendem Automatisierungsgrad muss die Mensch-Maschine-Interaktion neu gestaltet werden. Das Projekt KARLI (Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion im Fahrzeug der Zukunft) entwickelt dazu spezifische KI-Funktionen für die Automationslevel 2 bis 4. Hierbei werden Zustände der Fahrenden erfasst und angepasste Interaktionen gestaltet.
Je nach Automatisierungslevel variiert der Grad der Aufmerksamkeit, den Fahrer auf die Straße richten müssen, von voll konzentriert bis hin zu nahezu unabhängigem Fahren. Das Ziel ist es, durch geeignete Interaktionen sicherzustellen, dass Fahrerinnen und Fahrer immer über das aktuelle Automationslevel informiert sind und entsprechend reagieren können.
Die im Projekt KARLI entwickelten Applikationen haben drei Schwerpunkte:
- Levelkonformes Verhalten: Warnungen und Hinweise sollen sicherstellen, dass Fahrende nicht abgelenkt sind, wenn ihre Aufmerksamkeit erforderlich ist. Diese Hinweise werden visuell, akustisch, haptisch oder in Kombination übermittelt.
- Vermeidung von Reiseübelkeit: Da 20 bis 50 Prozent der Menschen an Reiseübelkeit leiden, soll eine KI diese frühzeitig erkennen und durch gezielte Tipps basierend auf den aktuellen Aktivitäten der Insassen minimieren. Dabei kommen generierte User Interfaces (GenUIn) für eine individualisierte Interaktion zum Einsatz.
- Individualisierte Interaktionen: GenUIn erstellt personalisierte Hinweise zur Reduzierung von Übelkeit und ermöglicht den Insassen, die Interaktion im Fahrzeug an ihre Bedürfnisse anzupassen. Je nach Automationslevel variiert die Form der Hinweise.
Zur Erfassung der Aktivitäten im Fahrzeug nutzen die Forschenden KI-gestützte optische Sensoren aus Innenraumkameras. Diese Daten werden mit großen Sprachmodellen zu Vision-Language-Models kombiniert.
Das Forschungsprojekt zeichnet sich durch hohe Dateneffizienz aus, indem nur wenige, qualitativ hochwertige KI-Trainingsdaten verwendet werden. Die Erkenntnisse werden in einem mobilen Forschungslabor auf Basis eines Mercedes EQS praktisch getestet, um erste Funktionen bis 2026 in Serienfahrzeugen verfügbar zu machen. Projektpartner sind u. a. Continental, Ford, Audi, INVENSITY, paragon semvox, TWT, studiokurbos, Fraunhofer IAO, Fraunhofer IOSB. (oe)
