Auf den Punkt: Surrogate Latent Policy Optimization ermöglicht effizientes Outcome-Reward-Training für latente Reasoner, die kontinuierliche Vektoren statt Tokens für Zwischenschritte verwenden.
Forscher haben SLPO (Surrogate Latent Policy Optimization) entwickelt, um Reinforcement Learning mit verifizierbaren Rewards auf latente Reasoning-Modelle zu übertragen. Das Verfahren umgeht die hohen Rechenkosten expliziter Chain-of-Thought-Methoden, indem es Zwischenschritte als kontinuierliche Vektoren verarbeitet statt sie vollständig zu dekodieren.
Latente Reasoner kodieren Zwischenschritte als kontinuierliche Vektoren statt als Tokens, wodurch sie bereits bei kürzeren Rechenpfaden mit expliziten Chain-of-Thought-Verfahren konkurrieren oder diese übertreffen. Das Problem: Während explizite CoT-Modelle durch Outcome-Reward-RL skaliert werden konnten, blieben latente Reasoner auf Imitation Learning begrenzt, da ihre Trajektorien keine tractable Schritt-für-Schritt-Likelihood aufweisen und kein adaptives Stopp-Interface unter festen Rechenbudgets bieten.
SLPO adressiert diese Limitierung durch zwei zentrale Komponenten: eine empirische Surrogate-Policy-Dichte über latente Übergänge für Reward-Zuordnung auf Trajektorie-Ebene und einen Stopp-Head mit Correctness-Supervision, den das Outcome-Reward-Training zu einer Variable-Horizon-Policy verfeinert. Damit wird Reward-RL erstmals auf autoregressive latente Reasoner anwendbar.
In Experimenten mit kontinuierlichen und Soft-Thinking-Einstellungen verbessert SLPO Pass@k-Raten unter Parallel-Sampling und allokiert längere latente Rechenpfade adaptiv für schwierigere Instanzen, während einfachere Probleme mit höherer Accuracy kürzer gelöst werden.
Quelle: arxiv.org · Erschienen 21. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.