Auf den Punkt: Während Video-Generierungsmodelle visuell überzeugende Bewegungen erzeugen, korreliert visuelle Qualität nicht mit der praktischen Ausführbarkeit durch Roboter — ein Evaluierungskriterium, das Standard-Metriken übersehen.
Forschende haben mit Dream.exe ein Evaluierungsframework vorgestellt, das misst, ob Video-Generierungsmodelle physikalische Gesetze ausreichend verstanden haben, um daraus ausführbare Roboteraktionen zu erzeugen. Das System konvertiert von KI-Modellen synthetisierte Manipulationsvideos in tatsächlich ausführbare Robotertrajektorien und testet sie in der Physik-Simulation.
Dream.exe ist ein Evaluierungsrahmen, der Video-Generierungsmodelle danach bewertet, ob ihre erzeugten Manipulationsbewegungen in der Praxis ausführbar sind. Das System folgt einer dreistufigen Pipeline: Aus einer Szene und einer Aufgabenbeschreibung erzeugt das Modell ein Manipulationsvideo, das Framework extrahiert daraus Robotertrajektorien und führt diese in einem Physics-Simulator aus. Das Ergebnis ist ein messbares Erfolgssignal, das rein visuelle Metriken nicht liefern können.
Die Evaluierung umfasste acht Modelle aus drei Kategorien: Frontier-Closed-Source-Generatoren, Open-Source-Lösungen und spezialisierte Robot-Modelle. Getestet wurden 101 manuell kuratierte Manipulationsaufgaben in drei Komplexitätsstufen, gemessen nach visuelle Qualität, Trajektorienverlässlichkeit und Ausführungserfolg. Mehrere Modelle erreichten messbaren Ausführungserfolg, was darauf hindeutet, dass die generativen Priors, die aus Internet-scale-Daten gelernt wurden, bereits sinnvolles physikalisches Wissen kodieren.
Ein zentrales Ergebnis: Visuelle Qualität ist kein zuverlässiger Prädiktor für Ausführbarkeit. Ein Modell kann visuell überzeugende Videos erzeugen, deren resultierende Roboterbewegungen in der Simulation misslingen — eine Dimension der Modellleistung, die Standard-Evaluierungen nicht erfassen. Dies bedeutet für die Entwicklung von Robotik-KI-Systemen, dass neue Evaluierungskriterien nötig sind, die echte physikalische Kompetenz statt ästhetischer Überzeugungskraft messen. Das Framework wird quelloffen verfügbar gemacht.
Quelle: arxiv.org · Erschienen 3. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.6.3.