Auf den Punkt: Single-Rollout-Sampling statt gruppenweiser Sampling stabilisiert asynchrones RL-Training und übertrifft GRPO auf agentengestützten Benchmarks.
Forscher haben Single-rollout Asynchronous Optimization (SAO) vorgestellt, ein Verfahren zur stabilen asynchronen Optimierung beim Reinforcement Learning von großen Sprachmodellen. SAO ersetzt die gruppenweise Sampling-Strategie durch Single-Rollout-Sampling und adressiert damit Stabilitäts- und Off-Policy-Probleme in agentengestützten Trainings-Pipelines.
Synchrone Batch-RL-Pipelines für das Post-Training von Large Language Models zeigen Ineffizienzen bei lang-horizont-Aufgaben, bei denen Agenten über mehrere Schritte hinweg autonom handeln müssen. Asynchrone RL-Systeme adressieren dieses Problem durch Live-Updates bei Ankunft von Rollouts, vernachlässigen aber häufig Trainings-Stabilität zugunsten von Durchsatz. Das weit verbreitete GRPO-Framework nutzt gruppenweise Sampling — ein Ansatz, der nicht natürlich zu asynchronem agentengestütztem Training passt.
Das SAO-Verfahren setzt stattdessen auf Single-Rollout-Sampling: ein Rollout pro Prompt statt mehrerer. Dies reduziert Off-Policy-Effekte und verbessert die Generalisierung. Flankiert wird dies durch praktische Value-Model-Trainingspraktiken und eine strikte zweiseitige Token-Level-Clipping-Strategie zur Optimierungsstabilisierung. Das Verfahren trainiert stabil über tausend Schritte hinweg.
Bei Benchmarks wie SWE-Bench Verified, BeyondAIME und IMOAnswerBench für Coding und Reasoning übertrifft SAO konsistent GRPO und dessen Varianten. Besonders wirksam zeigt sich die Single-Rollout-Strategie in simulierten Online-Learning-Settings, wo sich das Modell an verändernde Umgebungen anpassen muss. SAO wurde bereits in der agentengestützten RL-Pipeline für das 750B-Parameter-Modell GLM-5.2 (Open-Source-Release) erfolgreich eingesetzt.
Quelle: arxiv.org · Erschienen 7. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.