Auf den Punkt: LongStraw ermöglicht RL-Training auf 2,1 Millionen Tokens mit Group Relative Policy Optimization (GRPO) auf acht H20 GPUs, indem es Speicherzugriffe optimiert und Berechnungsdiagramme durch Replay von Response-Branches komprimiert.
Forscher haben LongStraw entwickelt, eine Ausführungs-Architektur für Reinforcement Learning (RL) mit bis zu 2,1 Millionen Token-Kontexten unter Einsatz fester GPU-Ressourcen. Das System adressiert die wachsende Lücke zwischen Inference-Längen und RL-Post-Training, wo Modelle bislang auf 256K Tokens begrenzt bleiben.
Die zunehmende Differenz zwischen Inference-Kontextlängen und RL-Post-Training-Kapazitäten wird für AI-Agenten kritisch: Inference-Systeme erreichen Million-Token-Kontexte, während Post-Training-Workloads typischerweise bei 256K Tokens oder darunter stagnieren und auf Längen-Generalisierung bei der Bereitstellung angewiesen sind. Bei Agenten akkumulieren Beobachtungen, Tool-Ausgaben, Dokumente und vorangegangene Entscheidungen über lange Trajektorien.
LongStraw ist eine architekturbewusste Ausführungs-Schicht, die mit Group Relative Policy Optimization (GRPO) instanziiert wird. Die Implementierung evaluiert den gemeinsamen Prompt ohne Autograd-Overhead, behält nur modellspezifische Zustände für nachfolgende Tokens und spielt Response-Branches sequenziell ab — das reduziert den aktiven Trainingsgraph, erfordert aber zusätzliche Recompute-Zeit. Der Ansatz wurde für das Qwen3.6-27B (Hybrid Recurrent + Full Attention) und das GLM-5.2 (Compressed Attention Mixture-of-Experts) implementiert.
Auf acht H20 GPUs führt LongStraw das Scoring und das Backward-Pass für Qwen bei 2,1 Millionen Positionen durch; die Erhöhung der Gruppengröße von 2 auf 8 fügt nur 0,21 GB Peak-Speicher hinzu. Ein separater Stress-Test erreicht 4,46 Millionen Positionen. Auf 32 H20 GPUs wurde der End-to-End-Pfad für einen 2,1-Millionen-Token-Prompt über alle 78 Layer von GLM-5.2 validiert. Die Experimente belegen primär die Ausführungs-Kapazität; die erfasste Prompt-Zustand ist detachiert, und einige verteilte Forward- und Gradienten-Kompositionspfade bleiben unvollständig.
Quelle: arxiv.org · Erschienen 15. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.