Auf den Punkt: Skill Self-Play kombiniert Aufgabengenerierung, Lösungssuche und eine dynamische Fähigkeitskontrolle in einer Reinforcement-Learning-Schleife, um sowohl Aufgabenvielfalt als auch Trainings-Zuverlässigkeit zu erreichen.
Forscher präsentieren ein Framework namens Skill Self-Play, das LLMs durch Selbstspiel mit dynamischen Fähigkeiten trainiert — ohne manuelle Annotationen und mit verlässlicher Rückkopplung.
Das bisherige Dilemma beim interaktiven LLM-Training stellt sich so dar: Umgebungsgebundene Methoden liefern zuverlässiges Feedback, beschränken das Lernen aber auf enge Domänen. Open-End-Aufgabengenerierung ermöglicht breiter gestreute Lernziele, lässt sich aber schlecht verifizieren und lässt fehlerhafte Signale ins Training eindringen. Skill Self-Play löst diesen Konflikt durch die Einführung von Skills als zentrale Mittelschicht: Jede Skill garantiert tiefgehendes und überprüfbares Verhalten in einem spezifischen Szenario, während dynamisches Routing über mehrere Skills offene Aufgabenvielfalt bewahrt.
Das Framework orchestriert drei Co-Evolutions-Komponenten in einer Reinforcement-Learning-Schleife: Ein Proposer generiert schwierige Aufgaben basierend auf dynamisch ausgewählten Skills. Ein Solver erkundet potenzielle Lösungen und erweitert seine Fähigkeiten. Ein Skill Controller sammelt Ausführungs-Feedback und aktualisiert die Skill-Bibliothek kontinuierlich. Diese Wechselwirkung schließt die Lücke zwischen strukturierter Verifikation und offener Exploration.
Empirische Tests auf Tool-Use- und Reasoning-Benchmarks zeigen, dass Skill Self-Play als Evolutions-Motor die Performance bestehender Modelle konsistent steigert. Auch anfangs schwach trainierte Modelle erleben deutliche Leistungsprünge. Der Code ist unter https://github.com/Qwen-Applications/skill-self-play verfügbar.
Quelle: arxiv.org · Erschienen 23. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.