Auf den Punkt: Direct-OPD transferiert RL-induzierte Policy-Verschiebungen von schwächeren auf stärkere Modelle, indem es das implizite Reward-Signal aus dem Log-Ratio der RL-verschobenen und Original-Policy nutzbar macht.
Reinforcement Learning auf großen Sprachmodellen ist rechenintensiv. Ein neuer Ansatz namens Direct On-Policy Distillation (Direct-OPD) ermöglicht es, RL-Fortschritte von kleineren Modellen auf leistungsstärkere zu übertragen — ohne teure RL-Trainingsläufe auf dem größeren Modell zu wiederholen.
Das Problem: RL mit verifizierbaren Rewards (RLVR) verbessert das Reasoning von Sprachmodellen, wird aber zunehmend teuer bei größeren Modellen — der Grund sind die vielen notwendigen Rollouts während des Trainings. Jedes neue stärkere Modell erfordert einen separaten, kostspieligen RL-Lauf.
Direct-OPD adressiert dies durch einen Weak-to-Strong-Ansatz: Statt RL direkt auf dem großen Modell zu laufen, wird es zuerst auf einem kleineren Modell durchgeführt (deutlich günstiger). Dann wird gelernt, wie dieses kleine Modell sich verändert hat. Der zentrale Mechanismus: Man vergleicht die RL-trainierte Policy des kleinen Modells mit deren Pre-RL-Version. Das Log-Verhältnis (log-ratio) dieser beiden Checkpoints wird als dichtes implizites Reward-Signal für das stärkere Schüler-Modell genutzt. Konkret: Das Checkpoint-Paar zeigt, welche Aktionen das RL-Training wahrscheinlicher und welche unwahrscheinlicher gemacht hat. Diese Information wird dann auf die On-Policy-States des größeren Modells angewendet.
Empirisch zeigt sich: Direct-OPD verbessert Qwen3-1.7B auf AIME 2024 von 48,3% auf 58,3% in 4 Stunden auf 8 A100-GPUs — ein 10-Punkte-Sprung ohne direktes RL auf dem großen Modell. Der Ansatz schlägt step-matched direkt RL und erlaubt die sequenzielle Komposition mehrerer Policy-Shifts.
Für Engineers bedeutet das: RL-Erkenntnisse lassen sich als implizite Reward-Signale über Modellskalen hinweg recyceln, nicht nur als finale Modelle zum Imitieren. Das reduziert die Rechenkosten für Post-Training bei größeren Modellen erheblich und öffnet neue Optimierungsstrategien für Inference-Skalierung.
Quelle: arxiv.org · Erschienen 7. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.