Lühidalt: Sparse Delta Memory suurendab lineaarsete RNN-ide oleku mahtuvust märkimisväärselt, ilma arvutuskulusid suurendamata, parandades sellega pika konteksti ja arutlusvõime jõudlust.
Teadlased tutvustavad lineaarsete RNN-ide arhitektuuriuuendust, mis suurendab hõreda aadresseerimise abil mälu mahtu suurusjärkude võrra, hoides samal ajal arvutuskoormuse muutumatuna. See parandab eelkõige jõudlust pika konteksti ülesannetes.
Lineaarse tähelepanuga (linear attention) mudelid pakuvad konstantset oleku mahtu ja ühtlast arvutuskulu tokeni kohta. Nende puudus võrreldes softmax-transformaatorite arhitektuuridega seisneb selles, et piiratud oleku maht toob kaasa nõrgema pika konteksti tagasikutsumise. Suurem olek parandab küll tagasikutsumise täpsust, kuid nõuab rohkem arvutustoiminguid (FLOP-e).
Uus meetod Sparse Delta Memory (SDM) lahendab selle dilemma hõreda aadresseerimismehhanismi abil: see asendab Gated-DeltaNeti arhitektuuri tiheda võtme-väärtuse maatrikskorrutamise hõredate luge- ja kirjutamisjuurdepääsudega suurele eksplitsiitsele mälule. See võimaldab suurendada mälumahtuvust suurusjärkude võrra ilma arvutusaega raiskamata.
Identsete FLOP-eelarvete ja parameetrite arvu juures näitab SDM märkimisväärseid parandusi konteksti-siseses õppimises (in-context learning) ja pika konteksti otsinguülesannetes. Lisaboonusena: kui algne mäluolek muudetakse treenitavaks (parameetriline mälu), saab mudel kasu ka üldteadmiste ja arutlusülesannete puhul.
Allikas: arxiv.org · Avaldatud 7. juulil 2026
Lumi AI News — tehisintellekti abiga kureeritud vastavalt tehisintellektimääruse art. 50-le. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.