Auf den Punkt: Kimi K3 als offenes Frontier-Modell mit nativer Vision, Million-Token-Kontext und 2,5-fach besserer Skalierungseffizienz gegenüber K2, bei Veröffentlichung aller Gewichte.
Zhao Hui (Kimi-Hersteller) präsentiert Kimi K3, ein Open-Source-Sprachmodell mit 2,8 Billionen Parametern und nativen Fähigkeiten für Bildverarbeitung. Das Mixture-of-Experts-System aktiviert 104 Milliarden Parameter und erreicht eine Million Token Kontextfenster.
Kimi K3 ist ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, von denen 104 Milliarden pro Inferenzierschritt aktiviert werden. Das System nutzt Stable LatentMoE zur Auswahl von 16 aus 896 routierten Experten je Token. Mit 1-Million-Token-Kontextfenster und integrierten Sehfähigkeiten adressiert es Aufgaben mit langen Abhängigkeiten über mehrere Schritte hinweg.
Technisch basiert Kimi K3 auf zwei Architekturelementen: Kimi Delta Attention verbessert den Informationsfluss über Sequenzlänge und Modelltiefe, während Attention Residuals zusätzliche Stabilität bieten. Die Skalierungseffizienz verbesserte sich gegenüber K2 um etwa den Faktor 2,5. Das Post-Training umfasst Reinforcement Learning in drei Domänen (Allgemein, agentische Aufgaben, Code) auf mehreren Anstrengungsstufen und ermöglicht damit kompositorische Generalisierung und robuste Mehrschrittausführung.
Bei der Infrastruktur wurden mehrere Innovationen realisiert: Algorithm-System-Co-Design für Kimi Delta Attention, perfekt balanciertes Expert-Parallel-Training mit effizienter Speicherverwaltung, Million-Token-agentisches Reinforcement Learning mit persistenten Rollout- und Sandbox-States sowie spezialisierte Deployment-Optimierungen.
In Benchmarks zeigt Kimi K3 Frontier-Leistung bei Code-, Agenten-, Wissens-, Reasoning- und Vision-Aufgaben. Gesamtleistung hinter Claude Fable 5 und GPT-5.6 Sol positioniert, übertrifft aber andere evaluierte Open- und proprietäre Modelle konsistent. Die vollständigen Modellgewichte wurden freigegeben.
Quelle: arxiv.org · Erschienen 26. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.