CoT-Feintuning degradiert Long-Context-Retrieval in hybriden LLMs durch Verzerrung der Query-Key-Projektionen; QK-Restore behebt dies ohne zusätzliches Training.
Multi-Turn-Reasoning-Modelle können sichere Oberflächenmetriken aufrechterhalten, während ihre internen Zustände über Gesprächsrunden hinweg kompromittiert sind oder ihre sichere interne Logik in schädlichen Outputs ignoriert wird.
Optische Reasoning nutzt Bilder als primäres Reasoning-Medium und spart dabei durchschnittlich 28,57 Prozent Token bei Sprachaufgaben und 16 Prozent bei multimodalen Aufgaben ein.
ThoughtFold identifiziert und entfernt überflüssige Explorations-Schritte in Reasoning-Ketten, senkt den Token-Verbrauch um 56% bei DeepSeek-R1-Distill-Qwen-7B und erhält dabei State-of-the-Art-Genauigkeit.
Geometric Latent Reasoning approximiert diskrete Denkschritte als kontinuierliche Pfade im Embedding-Raum und erzielt damit kürzere Generierungen bei gleichbleibender oder besserer Genauigkeit.
