Bei der Entwicklung autonomer Fahrzeuge werden die Umgebungswahrnehmung und die Rekonstruktion von Fahrszenen für Simulationen traditionell mit getrennten KI-Modellen umgesetzt. NVIDIA deckt die Rekonstruktion mit NuRec ab, einer Rekonstruktionssuite auf Basis des „Gaussian Splatting“-Verfahrens, um aus Kameradaten dreidimensionale Szenen zu erzeugen und für Simulationen nutzbar zu machen. Die Software wurde auf der GTC 2026 allgemein verfügbar. „Foundation4D“, eine neue Veröffentlichung eines 26-köpfigen NVIDIA-Teams, vereint nun beide Aufgaben in einem einzigen Modell.
Foundation4D ist ein KI-Modell, das die Analyse und Rekonstruktion von Fahrszenen in einer gemeinsamen Architektur zusammenführt. Auf Basis von Videos mehrerer Fahrzeugkameras schätzt das System Kamerapositionen, Tiefeninformationen, 3D-Objekte und semantisch belegte Raumbereiche. Gleichzeitig erzeugt es eine Darstellung aus 3D-Gaussians, die für die visuelle Rekonstruktion der Umgebung genutzt werden kann.
Das Modell verarbeitet Bildsequenzen in zeitlichen Fenstern. Die Ergebnisse werden anschließend zu vollständigen Szenen zusammengeführt; Kameratrajektorien werden global optimiert und Objektspuren über mehrere Fenster hinweg verknüpft. In Tests mit 99 internen Clips erreichte Foundation4D bei der Rekonstruktion statischer Szenen einen höheren Bildqualitätswert als die verglichene NuRec-Referenz. Bei der Darstellung beweglicher Objekte blieb das Modell dagegen zurück. Die Autoren sehen hier noch weiteren Forschungsbedarf.
Foundation4D erzielte zudem nach benchmarkspezifischer Feinabstimmung gute Ergebnisse bei Tiefenschätzung, Objekterkennung und semantischer Belegung. In Verbindung mit der kamerabasierten NuRec-Variante sank die angegebene Rekonstruktionszeit pro Clip von 16 auf 3,7 Stunden. Da sich die verglichenen Setups in Kameraausstattung, Software und Hardware unterscheiden, ist dieser Wert nur eingeschränkt übertragbar.
Begleitend veröffentlichte NVIDIA den Benchmark PAI-Foundation4D mit 1.253 Fahrszenen und dichten Tiefen- sowie Belegungslabels. Der Datensatz ist auf Hugging Face unter einer NVIDIA-Lizenz verfügbar, die die Nutzung auf die interne Entwicklung autonomer Fahrzeuge beschränkt.
