Auf den Punkt: Geometric Latent Reasoning approximiert diskrete Denkschritte als kontinuierliche Pfade im Embedding-Raum und erzielt damit kürzere Generierungen bei gleichbleibender oder besserer Genauigkeit.
Forscher haben ein Verfahren entwickelt, das LLMs ermöglicht, komplexe Probleme mit weniger Generierungsschritten zu lösen, indem es kontinuierliche latente Zwischenzustände statt expliziter Textverkettung nutzt. Die Methode reduziert Rechenkosten und Ausgabelänge ohne gezielten Längenvorgaben.
Große Sprachmodelle lösen komplexe Aufgaben traditionell durch explizite Denkketten (Chain-of-Thought), die lange Sequenzen von Reasoning-Token erzeugen. Dieses Vorgehen ist zwar wirksam, macht das Modell aber rechenaufwändig, abhängig von Ausgabelängen und auf diskrete natürliche Sprache beschränkt. Latente Reasoning-Ansätze bieten eine kontinuierliche Alternative, doch die Gestaltung nützlicher Strukturen für Zwischenzustände war bislang ungeklärt.
Das neue Verfahren Geometric Latent Reasoning (GLR) formuliert Reasoning als Pfad-Approximationsproblem im Token-Embedding-Raum des vortrainierten Modells. Ein leichter Übergangskopf (Transition Head) sagt iterative Richtungsaktualisierungen in diesem Raum voraus. Mit Hilfe von expliziten Chain-of-Thought-Sequenzen als Ankerpunkte lernt GLR, diskrete Denktrajektorien zu approximieren, wobei kontinuierliche Abweichungen von exakten Token-Embeddings zulässig sind.
Tests auf mathematischen Reasoning-Benchmarks mit Qwen3-Modellen zeigen ein emergentest Phänomen: GLR führt zu deutlich kürzeren Generierungen, ohne dass ein explizites Längenziel vorgegeben werden muss. Durch den Ersatz früher expliziter Reasoning-Schritte durch kontinuierliche latente Schritte erreichen die Modelle korrekte Antworten häufig mit substanziell weniger Gesamtgenerierungsschritten. Dies deutet darauf hin, dass kontinuierliche Trajektorien als kompakte Zwischenzustände fungieren und einen neuen Tradeoff zwischen latenter Rechenbudget, Ausgabelänge und Genauigkeit offenlegen.
Quelle: arxiv.org · Erschienen 31. Mai 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.2.9.