Auf den Punkt: NVIDIAs OmniDreams generiert komplexe Fahrzeugsimulationen in Echtzeit, generalisiert besser auf seltene Szenarien und kann zugleich als Grundlage für effizientere Fahrichtlinienmodelle dienen.
NVIDIA hat OmniDreams entwickelt, ein generatives Weltmodell, das auf Basis des Cosmos-Diffusionsmodells in Echtzeit aktionsbedingte Videosequenzen für die Simulation autonomer Fahrzeuge erzeugt. Das System wurde auf 21.000 Stunden Fahrszenarios trainiert und soll komplexe, schwer zu simulierende Phänomene wie Extremwetter und dynamische Verkehrsteilnehmer abbilden können.
OmniDreams adressiert ein zentrales Problem bei der Entwicklung autonomer Fahrzeuge: die Evaluation von Fahrrichtlinien in selten vorkommenden, aber kritischen Szenarien. Während bisherige, auf Rekonstruktion basierende neurale Simulatoren zwar fotorealistisch sind, scheitern sie bei der Generalisierung auf hochdynamische oder neuartige Szenen, da sie sich auf die Muster ihrer Trainingsdaten beschränken.
Das neue System nutzt das Cosmos-Diffusionsmodell als Grundlage und wurde mittels Mid- und Post-Training auf ein spezialisiertes Weltmodell optimiert. OmniDreams generiert Videosequenzen autoregressiv in Echtzeit, wobei jeder Frame auf den bisherigen Videoverlauf, den aktuellen Simulatorzustand und die unmittelbare Fahraktion des Agenten konditioniert ist. Dadurch entsteht eine reaktive Umgebung, die extreme Wetterbedingungen und unvorhersehbare Verhalten anderer Verkehrsteilnehmer synthetisieren kann — Szenarien, die klassische Simulatoren nur schwer erfassen.
Im praktischen Einsatz wird OmniDreams in ein Closed-Loop-System mit dem Alpamayo 1 Policy-Modell und der AlpaSim-Orchestrierungsplattform integriert. Erste Ergebnisse zeigen, dass ein aus OmniDreams abgeleitetes World-Action-Model auf dem Physical AI Autonomous Vehicles NuRec-Datensatz stärkere Leistungen erreicht als das auf Vision Language Action basierte Alpamayo 1.5 Forschungsmodell, während es nur ein Fünftel der Parameter benötigt. Das deutet auf das Potenzial hin, Echtzeit-Weltmodelle auch als Backbone für Fahrtrichtlinien-Architektur zu nutzen.
Quelle: arxiv.org · Erschienen 1. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.5.2.