Auf den Punkt: Evolution Fine-Tuning lehrt Sprachmodelle, Lösungsstrategien über verschiedene Optimierungsprobleme hinweg zu generalisieren und dabei 10,22 Prozent bessere Ergebnisse als Basismodelle zu erreichen.
Forscher haben ein Verfahren entwickelt, das Sprachmodelle trainiert, Lösungsstrategien aus Optimierungsaufgaben zu generalisieren statt jedes Problem von vorne zu beginnen. Das Modell lernt dabei, welche Teile einer Lösung zu verändern sind und wann es Rückschritte machen sollte.
Das neue Verfahren Evolution Fine-Tuning (EFT) adressiert ein bislang ungelöstes Problem: Während Large Language Models (LLMs) in evolutionären Suchalgorithmen bereits Spitzenergebnisse bei GPU-Kernel-Design, mathematischen Problemen und kombinatorischen Rätseln erzielen, wird das Wissen nach jeder einzelnen Aufgabe verworfen. Jedes neue Problem wird von Grund auf angegangen, obwohl die während der Suche erworbenen Strategien auch auf andere Probleme übertragbar sein könnten.
Bei EFT werden die Evolutionspfade von Optimierungsaufgaben direkt als Trainingssignal verwendet. Die Forscher konstruierten die Finch Collection, einen Datensatz mit 156.000 Evolutionstrajektor spanning über zehn Domänen und 371 Optimierungsaufgaben. Mit diesem Material wurde open-source-Modelle zwischen 2 und 9 Milliarden Parametern fine-getuned. Das Verfahren lehrt das Modell selbst, welche Mutationen sinnvoll sind und wann ein Rückschritt zur Vermeidung lokaler Minima notwendig ist — statt diese Logik nur in die externe Suchstruktur zu programmieren.
In der Evaluation zeigte sich auf 22 nicht gesehenen Aufgaben eine durchschnittliche Verbesserung von 10,22 Prozent gegenüber den Basismodellen. In Kombination mit Test-Zeit-Reinforcement-Learning erreichte das Modell State-of-the-Art-Ergebnisse bei zwei Kreis-Packungsproblemen und outperformte die Baseline beim Erdős-Minimum-Overlap-Problem. EFT funktioniert somit als «Trainingsphasen» für universelle Discovery-Agenten, die neue Probleme nicht ohne Vorwissen angehen.
Quelle: arxiv.org · Erschienen 26. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.2.