Kimi K3 als offenes Frontier-Modell mit nativer Vision, Million-Token-Kontext und 2,5-fach besserer Skalierungseffizienz gegenüber K2, bei Veröffentlichung aller Gewichte.
LongStraw ermöglicht RL-Training auf 2,1 Millionen Tokens mit Group Relative Policy Optimization (GRPO) auf acht H20 GPUs, indem es Speicherzugriffe optimiert und Berechnungsdiagramme durch Replay von Response-Branches komprimiert.
Self-Guided TTT verbessert die Long-Context-Verarbeitung, indem das Modell selbst relevante Textpassagen vor der Parameteradaptation identifiziert, statt zufällig Spans auszuwählen.
Sparse Delta Memory erhöht die State-Kapazität linearer RNNs deutlich, ohne die Rechenkosten zu erhöhen, und verbessert damit Long-Context und Reasoning-Performance.
FlashMorph konvertiert Transformer zu Hybrid-Attention-Modellen, indem es optimal bestimmt, welche Layer volle Attention brauchen und welche durch lineare Attention ersetzt werden können.
InfoKV kombiniert Attention-Scores mit Unsicherheitssignalen zur KV-Cache-Kompression und übertrifft damit reine Attention-basierte Methoden bei langem Reasoning um messbare Margen.
EvoEmbedding nutzt einen aktualisierten latenten Speicher während der sequenziellen Verarbeitung, um für dieselbe Anfrage adaptive, kontextabhängige Embeddings zu generieren.
MSA reduziert die Aufmerksamkeitsberechnung für Million-Token-Kontexte um das 28,4-Fache durch blockweise Sparse-Selektion und erreichbare praktische Speedups durch Co-Design von Algorithmus und GPU-Kernel.
CoT-Feintuning degradiert Long-Context-Retrieval in hybriden LLMs durch Verzerrung der Query-Key-Projektionen; QK-Restore behebt dies ohne zusätzliches Training.
LSA prognostiziert relevante Kontextabschnitte vorab und behält nur diese im GPU-Speicher, wodurch der KV-Cache um über 86 Prozent komprimiert wird, ohne die Genauigkeit zu opfern.
LCLMs komprimieren KV-Caches durch Encoder-Decoder-Architektur bis 1:16 effizienter als bisherige Verfahren und reduzieren dabei Peak-Memory-Auslastung und Verarbeitungszeit.
Encoder-Decoder-Kompressoren mit adaptiver Expansion verbessern KV-Cache-Kompressionsmethoden in Geschwindigkeit und Speichereffizienz, ohne nennenswerte Qualitätsverluste.
