Die für die Automobilindustrie konzipierte multimodale Modelllösung Qwen von Alibaba Cloud wurde in Zusammenarbeit mit Nvidia und Banma entwickelt. Das Large Multimodal Model (LMM) soll Autobauern in China zur Verfügung gestellt werden und ein interaktiveres Erlebnis für Autofahrer schaffen.
Die Qwen-Modelle, darunter das Sprachmodell Qwen2-7B und das Vision Language Model Qwen2-VL, wurden in die NVIDIA DRIVE AGX Orin Plattform für autonomes Fahren integriert.
Diese Initiative stellt die erste Integration von Alibabas großen KI-Modellen in NVIDIAs Automobilplattform dar. Darauf aufbauend werden Sprachassistenten im Auto in der Lage sein, lebhafte, mehrteilige Gespräche zu führen und sogar Empfehlungen auszusprechen. Dazu gehört die Bereitstellung von Informationen über nahegelegene Sehenswürdigkeiten bis hin zur proaktiven Empfehlung, bei Schneefall die Scheinwerfer einzuschalten.
Als Teil der LMM-Lösung wird der Mobile Agent von Alibaba Cloud – ein KI-Agent für Edge-Geräte – die Sprachassistenten im Auto verbessern. Der Mobile Agent kann komplexe Aufgaben planen und Entscheidungen treffen, wodurch Nutzer Sprachbefehle wie das Bestellen von Milkshakes über eine Liefer-App einfacher ausführen können.
In Zukunft will Alibaba Cloud mit NVIDIA zusammenarbeiten, um die Qwen-Modelle für die nächste Generation der NVIDIA DRIVE Thor-Plattform anzupassen. (jr)
