Orca verbindet Video, Sprache und visuelle Fragen in einem einheitlichen latenten Raum und zeigt, dass dieses unified world model spezialisierte Modelle bei Text-, Bild- und Aktionsprognosen übertreffen kann.
Orca lernt eine gemeinsame Welt-Repräsentation aus Videos und Sprachannotationen und ermöglicht damit Text-Generierung, Bildvorhersage und Steuerung von Agenten mit gefrozenem Backbone und modularen Decodern.
InternVideo3 ermöglicht Foundation-Modellen, längere Videosequenzen mit iterativem Reasoning und Werkzeugnutzung zu analysieren, ohne dabei in Effizienzprobleme bei der KV-Cache-Verwaltung zu geraten.
