Auf den Punkt: Sparse Delta Memory erhöht die State-Kapazität linearer RNNs deutlich, ohne die Rechenkosten zu erhöhen, und verbessert damit Long-Context und Reasoning-Performance.
Forscher stellen ein Architektur-Update für lineare RNNs vor, das die Speichergröße durch sparsames Adressieren um Größenordnungen erhöht und dabei den Rechenaufwand konstant hält. Das verbessert insbesondere die Leistung bei Long-Context-Aufgaben.
Linear Attention-Modelle bieten konstante State-Größe und gleichbleibende Rechenkosten pro Token. Ihr Nachteil gegenüber Softmax-Transformer-Architekturen: begrenzte State-Größe führt zu schwächerem Long-Context-Recall. Eine größere State verbessert zwar die Abrufgenauigkeit, erfordert aber mehr Rechenoperationen (FLOPs).
Das neue Verfahren Sparse Delta Memory (SDM) löst dieses Dilemma durch einen sparse Addressing-Mechanismus: Es ersetzt die dichte Key-Value-Matrixmultiplikation in der Gated-DeltaNet-Architektur durch sparse Lese- und Schreibzugriffe auf einen großen expliziten Speicher. Dadurch lässt sich die Speicherkapazität um Größenordnungen erhöhen, ohne Rechenzeit zu verschwenden.
Unter identischen FLOP-Budgets und Parameterzahl zeigt SDM deutliche Verbesserungen bei In-Context-Learning und Long-Context-Retrieval-Aufgaben. Ein zusätzlicher Kniff: Wenn das initiale Speicherzustand trainbar wird (parametrischer Speicher), profitiert das Modell auch bei Common-Knowledge- und Reasoning-Aufgaben.
Quelle: arxiv.org · Erschienen 7. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.