Auf den Punkt: SEED nutzt selbstgenerierten Hindsight-Supervision aus Sprachmodell-eigenen Analysen von Trajektorien, um die Supervision-Lücke zwischen episodischen Outcomes und Token-Level-Lernbefehlen zu schließen.
Forscher haben mit SEED ein Framework entwickelt, das große Sprachmodelle beim Verstärkungslernen für komplexe Multi-Turn-Aufgaben effizienter trainiert. Die Methode extrahiert aus abgeschlossenen Trajektorien automatisch Fähigkeiten in natürlicher Sprache und nutzt diese zur direkten, Token-basierten Optimierung.
Das Kernproblem beim Outcome-basierten Verstärkungslernen (RL) für interaktive Agenten liegt in der spärlichen Belohnung auf Trajektorien-Ebene: Sie bietet nur begrenzte Führung für einzelne Zwischenschritte eines Multi-Turn-Dialogs, einer Tool-Nutzung oder einer Umgebungsinteraktion. Dies erzeugt eine Supervision-Lücke zwischen dem übergeordneten Erfolg einer gesamten Episode und dem Token-für-Token-Lernprozess des Modells.
SEED (Self-Evolving On-Policy Distillation) adressiert dies durch ein selbstevolvierendes Design: Das Modell analysiert zunächst seine eigenen abgeschlossenen Trajektorien, um natürlichsprachliche Fähigkeiten zu extrahieren – wiederverwendbare Workflows, entscheidende Beobachtungen oder Fehler-Vermeidungsregeln. Während des Trainings sammelt dieselbe Policy gleichzeitig neue Trajektorien und dient als Analyzer für diese Daten. Dies ermöglicht eine enge Kopplung: Policy-Updates verbessern sowohl nachfolgende Entscheidungen als auch die Skill-Extraktion selbst, während die Hindsight-Supervision mit der sich verändernden Policy mitwächst.
Im zweiten Schritt bewertet der Ansatz die gesteuerten Aktionen unter normalen und skill-erweiterten Kontexten neu. Die dadurch entstehende Wahrscheinlichkeitsverschiebung wird in ein dichtes, Token-Level-Distillationssignal konvertiert. Dieses Signal wird gemeinsam mit dem outcome-basierten RL-Ziel optimiert, wodurch die zusätzliche Supervision zur aktuellen Trajektorien-Verteilung alignt bleibt und nicht zu veralteter Daten-Verteilung driftet.
Experimentelle Ergebnisse auf Text- und Vision-basierten agentengestützten Aufgaben zeigen konsistente Verbesserungen bei Leistung und Sample-Effizienz. Das Framework zeigt auch robuste Generalisierung auf ungesehene Szenarien. Der Quellcode ist auf GitHub verfügbar.
Quelle: arxiv.org · Erschienen 15. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.