Auf den Punkt: Das "Knowing-Using Gap"-Phänomen beschreibt, dass LLMs neue Fakten memorieren, deren interne Repräsentationen aber nicht zu den für Reasoning zuständigen Schichten weitergeleitet werden.
Forscher haben untersucht, warum große Sprachmodelle neue Fakten zwar auswendig lernen, aber nicht für Reasoning-Aufgaben einsetzen können. Sie identifizierten das Problem als Fehlausrichtung zwischen Speicherung und Nutzung der Wissensrepräsentationen im Modell.
Beim Fine-Tuning von Large Language Models mit neuen Wissensinhalten tritt ein systematisches Problem auf: Modelle memorieren die neuen Fakten schnell, können sie aber nicht für nachgelagerte Reasoning-Aufgaben einsetzen. Forscher formalisieren dieses Phänomen als „Knowing-Using Gap“ – charakterisiert durch eine Genauigkeitslücke und zeitliche Verzögerung zwischen Memorization und Generalisierung.
Um diesen Mechanismus zu verstehen, entwickelten die Autoren eine Technik namens „Self-Patching“, die die räumliche Ausbreitungsdynamik des neuen Wissens im Modellinneren abbildet. Self-Patching identifiziert Aktivierungsorte, an denen die Umpositionierung von Repräsentationen fehlgeschlagene Generalisierungsfälle substanziell verbessert. Die Ergebnisse stützen eine „Knowledge-Circuit Misalignment“-Hypothese: Memorierte Repräsentationen existieren zwar intern, werden aber nicht zu berechnungseffizienten Schichten weitergeleitet – ein Routing-Problem statt eines Speicherproblems.
Basierend auf dieser Diagnose entwickelten die Forscher eine einfache heuristische Strategie, die 58 bis 75 Prozent der theoretisch erreichbaren Verbesserung bei gescheiterten Generalisierungsfällen zurückgewinnt. Die Experimente wurden domänenübergreifend durchgeführt, um die Robustheit der Befunde zu sichern.
Für CTOs bedeutet dies, dass Fine-Tuning-Strategien nicht nur auf Memorization optimiert werden sollten, sondern explizit sicherstellen müssen, dass neue Wissensrepräsentationen in den Schichten ankommen, die tatsächlich für Reasoning und Problemlösung verantwortlich sind.
Quelle: arxiv.org · Erschienen 9. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.