Auf den Punkt: Eine 4B-Parameter-Compiler übersetzt natürlichsprachige Funktionsbeschreibungen in kompakte, lokal ausführbare Adapter, die eine 0,6B-Interpreter-Instanz steuern und damit API-Prompts von 32B-Modellen ersetzen.
Forscher schlagen ein Verfahren vor, bei dem Large Language Models zur Compile-Zeit neuronale Adapter für unsaubere Programmieraufgaben erzeugen, die sich dann offline und lokal ausführen lassen. Das Verfahren spart Speicher und Latenz gegenüber API-Prompts ein.
Program-as-Weights (PAW) adressiert ein reales Ingenieur-Problem: Aufgaben wie das Filtern von Log-Zeilen nach Relevanz, das Reparieren fehlerhafter JSON-Strukturen oder das Ranking von Suchergebnissen lassen sich nicht gut mit klassischen if-else-Regeln implementieren, werden aber immer häufiger direkt per API an LLMs ausgelagert. Das führt zu hohen Abhängigkeiten von externen Services, fehlender lokaler Reproduzierbarkeit und laufenden API-Kosten.
Der Ansatz funktioniert zweistufig: Ein 4-Milliarden-Parameter-Compiler wurde auf FuzzyBench trainiert, einem Datensatz mit 10 Millionen Beispielen für solche unsauberen Funktionen. Dieser Compiler nimmt eine natürlichsprachige Spezifikation entgegen und erzeugt einen Parameter-effizienten Adapter (eine kleine Gewichtsmatrix), der an einen gefrorenen 600-Millionen-Parameter-Interpreter angedockt wird. Die so entstehenden Adapters sind winzig, völlig offline ausführbar und benötigen nur bei der Funktionsdefinition einen Aufruf des großen Modells.
In der Evaluation zeigt ein Qwen3-0.6B-Interpreter mit PAW-Adaptern die gleiche Genauigkeit wie direktes Prompting eines Qwen3-32B-Modells. Der Speicherbedarf beim Inference fällt auf etwa ein Fünfzigstel, und auf einem MacBook M3 erreicht das System 30 Token/Sekunde. Das reframing ist konzeptionell interessant: Das Foundation Model wird vom Per-Input-Problemlöser zum Werkzeug-Builder, der einmalig pro Funktion aufgerufen wird und dann ein wiederverwendbares, billiges Artefakt hinterlässt.
Der Datensatz FuzzyBench wird öffentlich verfügbar gemacht, was anderen Gruppen erlaubt, ähnliche Compiler zu trainieren oder das Verfahren auf andere Spezialaufgaben zu erweitern.
Quelle: arxiv.org · Erschienen 1. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.2.