Lühidalt: Agentide mälusüsteemid ei suuda vastata 86 protsendile päringutest, mille puhul õige fakt ei kattu keeleliselt päringuga, ehkki nad suudavad sama fakti üles leida, kui see on otse nähtaval.
Teadlased on avaldanud 125 ülesandega võrdlustesti, mis toob esile agentide mälusüsteemide süstemaatilise nõrkuse: nad ei suuda salvestatud fakte üles leida, kui otsingupäring ei sisalda sõnasõnalisi kokkulangevusi. Klassikaline näide on pähklialergia, mis peaks olema oluline makroonide kohta käiva päringu puhul, kuid mida süsteem automaatselt ei seosta.
InMind-võrdlustest keskendub just kaudse assotsiatsiooni probleemile (implicit-association blind spot). Selle asemel, et lihtsalt mõõta, kas mäluüsteemid suudavad fakte üles leida, uuritakse, kas nad suudavad seda teha ka siis, kui päring ei sisalda samu märksõnu, mis salvestatud teave. Võrdlustest hõlmab 125 ülesannet kümnest eluvaldkonnast, millest 113 ülesannet põhinevad tsiteeritavatel avalikel allikatel.
Tulemused näitavad drastilist lõhet: kui asjakohane mälestus on kontekstis otse kättesaadav, annavad baasmudelid õige vastuse 84,0 protsendil juhtudest. Kui aga samu mälestusi tuleb leida abrektsimehhanismi kaudu, langeb kuue testitud mäluüsteemi (vektor-, graafi- ja agendipõhised lähenemised) tulemus kuni 14,4 protsendini — ehkki otsese päringu korral leiavad nad samad faktid üles 100-protsendilise täpsusega. See näitab, et probleem ei peitu salvestamises ega faktiteadmistes, vaid päringu ja otsingu vahelises liideses.
Täiendavad testid viitavad tuumprobleemile: isegi kaheksakordne embeddingu dimensionaalsuse suurendamine ei kõrvalda lõhet. Küll aga suutis minimaalne diagnostiline meetod, mis hoiab mälu enne päringu saabumist nähtaval, sooritusvõime lõhe suures osas kõrvaldada. See viitab sellele, et lahendamata küsimus on ruutimine — see tähendab otsus, millised faktid jäävad pidevalt kättesaadavaks.
Inseneriharudele, nagu vestlusrobotite ja agentide arendus, on võrdlustest asjakohane, kuna see näitab, et suuremõõtmelised embeddingud või suuremad mäluruumid üksi ei piisa. Selle asemel peavad süsteemid aktiivselt otsustama, millist teavet tuleks enne päringu esitamist ette aktiveerida — näiteks konteksti eelhankimise (context prefetching) või selgesõnalise relevantsusmodelleerimise abil.
Allikas: arxiv.org · Avaldatud 26. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.