Auf den Punkt: Ein gefrorenes 12B-Modell kombiniert mit verifiziertem Lösungsspeicher erreicht 100%-Genauigkeit bei verifizierten Problemfamilien mit null Token-Verbrauch und deterministischen, bitgenauen Ergebnissen.
Forscher haben ein Verfahren entwickelt, bei dem ein großes Sprachmodell eingefroren bleibt und neben ihm ein persistent wachsender Speicher von verifizierten Lösungen aufgebaut wird. Bei 180 Test-Instanzen über neun Problemfamilien erreicht ein 12B-Modell über vier verschiedene Architekturen von vier Herstellern durchgehend 180/180 korrekte Antworten ohne Generierungs-Token.
Das Kernkonzept invertiert den bisherigen Optimierungsansatz: Anstatt das Modell beim nächsten Training von Grund auf neu zu lernen, wird das bestehende Modell eingefroren und daneben ein Speicher mit verifizierten Lösungen aufgebaut. Eine Probleminstanz wird erst nach unabhängiger Verifikation, die nicht auf die Antwort zugreift, in den Speicher aufgenommen. Bei verifizierten Problemfamilien erfolgt dann jede neue Anfrage derselben Kategorie mit exaktem Abruf – null Generierungs-Token, bitgenau, deterministisch.
Die Evaluierung umfasste 180 neue Instanzen über neun Problemfamilien und vier Modellarchitekturen (darunter Dense und Mixture-of-Experts von vier verschiedenen Anbietern). Alle erreichten 180/180 korrekte Antworten. Ein Negativ-Kontrollversuch zeigte: Mit geleerten Speicher löst das System nichts – die Leistung stammt vollständig aus dem Speicher. Für offene Reasoning-Aufgaben wurden 88/88 Anfragen maschinell verifiziert akzeptiert; die Reasoning-Methode transferierte mit 77/80 Erfolgen auf neue Modelle.
Die praktischen Anforderungen fallen minimal aus: Die Speichersuche dauert 1,4 Mikrosekunden; ein vollständiger Abruf von verifizierten Lösungen benötigt 6–23 ms bei 36 mWh Energieaufwand. Eine kritische Observation: Approximate-Similarity-Abruf (Ähnlichkeitssuche) selektiert bei einem 4.500-Item-Speicher in 94,3 % der Fälle das falsche Item, während exakte Addressierung null Fehler macht.
Der Speicher funktioniert auch als Arbeitskontext: Das System verwaltet ein 6.000.000-Token-Fenster auf einer einzelnen 46-GB-GPU mit flacher Speicherarchitektur. Zum Vergleich: vLLM stoppt bei 30.399 Tokens, SGLang truncates stillschweigend ab 32.000 Tokens. Auf Standard-Benchmarks bleiben Frontier-Modelle beim Reasoning von Grund auf voraus; bei verifizierten Problemen dreht sich das Verhältnis um: Frontier-APIs zahlen für jeden Query einen neuen Generierungsdurchlauf, während verifizierte Abrufe kostenfrei erfolgen und identische Bits zurückgeben.
Quelle: arxiv.org · Erschienen 25. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.