Auf den Punkt: NVIDIA automatisiert Workflows in der Physical-AI-Forschung durch neue Agent Skills, die Szenenrekonstruktion, Datengeneration und Policy-Training für autonome Fahrzeuge, Robotik und Vision-AI skalierbar machen.
NVIDIA hat auf der CVPR neue Agent Skills veröffentlicht, die Entwickler bei der Automation von Workflows in der physischen KI-Forschung unterstützen – von der 3D-Rekonstruktion realer Szenen bis zur Generierung von Extremfällen für autonome Fahrzeuge und Robotik.
Das Kernproblem der Physical-AI-Forschung liegt nicht allein in stärkeren Modellen, sondern in der Integration eines vollständigen Workflows: Rekonstruktion realer Szenen, Generierung von Edge-Case-Szenarien, Policy-Training, Verhaltensevaluierung und schnelle Iteration. Diese Schritte sind derzeit über separate Tools verteilt, was Experimente verlangsamt.
NVIDIA kombiniert seine neuen Agent Skills mit Cosmos 3 – dem unternehmenseigenen Foundation Model für Physical AI und dem ersten Omnimodell, das Vision Reasoning, World Generation und Action Generation vereint. Für autonome Fahrzeuge adressiert NVIDIA damit das „Long-Tail“-Problem: seltene Fahrsituationen, ungewöhnliche Straßengeometrien und Lichtwechsel, die sich schwer in realen Daten erfassen lassen. Die Neural-Reconstruction-Skills ermöglichen es, Flottendaten in editierbare 3D-Szenen für Simulation und synthetische Datengenerierung umzuwandeln. Technologien wie InstantNuRec ermöglichen schnelle 3D-Gaussian-Rekonstruktion von Straßenszenen ohne szenespezifische Optimierung.
Das Open-Source-Framework AlpaGym verbindet Policy-Rollouts und hochfidelity Simulation durch Agent Skills und skaliert über tausende GPUs. Das generative Weltmodell OmniDreams fügt photorealistische Echtzeitrendering hinzu. Alpamayo 2 Super, ein 32-Milliarden-Parameter-VLA-Modell (Vision Language Action), erweitert die Fähigkeiten zur Reasoning-, Planungs- und Handlungsfähigkeit über den gesamten Fahrstapel.
Für Vision-AI-Systeme lösen die neuen Metropolis Skills das Datenproblem bei der Generierung kontrollierter Beispiele: Sie unterstützen synthetische Szenariogenerierung, Anomalieerzeugung, Datenerweiterung und Pseudo-Labeling. Dies ist zentral für Zero-Shot-Anomalieerkennung und Few-Shot-Defekterkennung in industrieller Bildverarbeitung.
Quelle: blogs.nvidia.com · Erschienen 3. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.2.9.