Auf den Punkt: Ein Training-Inference-Mismatch in LLM-RL führt zu persistenter Off-Policyness; MIPU löst dies durch selektive Acceptance von Policy-Updates basierend auf Inference-seitigen Verbesserungen.
Forschende identifizieren ein grundsätzliches Problem beim RL-Training großer Sprachmodelle: Da Training und Inference auf unterschiedlichen Engines laufen, führt dies zu inkonsistenten Wahrscheinlichkeiten für dieselben Sequenzen und damit zu persistenter Offline-Trainierbarkeit, die die Stabilität gefährdet.
Reinforcement Learning im Post-Training von LLMs ist fragil und anfällig für Instabilität oder kompletten Kollaps. Ein zentraler Grund ist der Training-Inference-Mismatch: LLMs nutzen separate Engines für Generation (Effizienz) und Training (Genauigkeit), was zu widersprüchlichen Wahrscheinlichkeitsausgaben für identische Trajektorien führt – selbst wenn die Modellparameter synchron sind. Dies erzeugt eine permanente Form von Off-Policyness, die das Training vergiftet.
Bisherige Arbeiten haben versucht, diese Off-Policyness zu adressieren und die Trainingspolicies zu stabilisieren. Die neue Studie hebt jedoch ein übersehenes Problem hervor: Effektive Updates zur Policy im Training-Engine garantieren nicht die Verbesserung der Inference-Policy – also jener Policy, die tatsächlich im Produktivbetrieb läuft. Dies ist ein Objective-Misalignment.
Die Autoren schlagen Monotonic Inference Policy Improvement (MIPI) als neues Optimierungsziel vor und implementieren dies im Framework Monotonic Inference Policy Update (MIPU). MIPU arbeitet in zwei Schritten: Es konstruiert sampler-referenzierte Kandidaten-Updates und akzeptiert diese selektiv durch einen Proxy für den Inference-seitigen Gap. Experimente auf zwei Modellgrößen unter hohem Mismatch zeigen Verbesserungen bei durchschnittlicher Reasoning-Performance und Trainingsstabilität.
Quelle: arxiv.org · Erschienen 27. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.