Lühidalt: TAKC komprimeerib teadmusbaase 8x kuni 64x võrra offline-režiimis spetsiifiliste ülesandetüüpide jaoks, säilitades seejuures dokumentidevahelised seosed, mis jäävad sarnasuspõhisel otsingul märkamata.
AWS tutvustab Task-aware Knowledge Compressioni (TAKC), meetodit suurte dokumendikogumite eeltöötlemiseks ülesandepõhisteks kompaktseteks esitusviisideks. Meetod ületab Retrieval-Augmented Generationi piirangud keerukate analüütiliste ülesannete puhul, mis hõlmavad sadu dokumente.
Retrieval-Augmented Generation (RAG) jõuab oma piirideni mitmetahuliste analüüsiküsimuste puhul, kui kümned või sajad dokumendid sisaldavad omavahel seotud teavet, mille seosed ei avaldu leksikaalse sarnasusena. Näiteks 500 miljoni dollari suuruse omandamise due diligence’i käigus peavad analüütikud läbi töötama 12 tütarettevõtte finantsaruanded, üle 200 tarnelepingu, 8 asukoha vastavusaruanded ning üle 50 kohtuvaidluse materjalid. Küsimusi konsolideeritud finantsriski kohta, arvestades tarnijatingimusi ja pooleliolevaid kohtuvaidlusi, ei saa tavapärase RAG-i sarnasuspõhise otsinguga usaldusväärselt vastata, sest teave on hajutatud paljude dokumentide vahel.
TAKC lahendab selle probleemi kaheastmelise lähenemisega: offline-protsessis komprimeerib keelemudel terved dokumendid ülesandepõhisteks kokkuvõteteks – mitte üldiseks, vaid konkreetsele ülesandele suunatud kujul. Finantsanalüüsiks kasutatav aastaaruanne taandatakse käibenäitajatele, kasumimarginaalidele ja rahavoogude andmetele, samas kui sama aruanne vastavuskontrolli jaoks toob esile regulatiivsed viited ja rikkumised. Kompressioonisuhted ulatuvad 8x kuni 64x, säilitades sealjuures konkreetse ülesande jaoks vajaliku algteabe. Tootmiskeskkondade jaoks soovitab AWS salvestada kompressioonijuhised versioonihalduse all (näiteks AWS Systems Manager Parameter Store’i kaudu), et muudatused oleksid jälgitavad ja uuendamisel käivituks automaatne taaskompressioon.
Päringute puhul otsitakse algdokumendi asemel eelnevalt komprimeeritud esitusviisi. Süsteem kasutab seejuures kogu teadmusbaasi komprimeeritud kujul, mitte üksnes sarnasuspõhise otsingu top-k lõike. See säilitab ka dokumentidevahelised seosed, kuna kompressioon analüüsib neid koos. TAKC pakub iga ülesandetüübi jaoks nelja kompressioonitaset: nõrgim kompressioon (8x) säilitab konteksti umbes 87,5% vähem, kuid sobib mitmeastmeliseks arutluskäiguks ja dokumentideüleseks sünteesiks. Keskmine kompressioon (16x) vähendab konteksti umbes 93,8% keskmise keerukusega analüüsiküsimuste jaoks. Kõrgemad kompressioonitasemed (32x, üle 96,9% vähenemine) sobivad faktipõhistele otsingutele ja selgelt piiritletud küsimustele. Intelligentne päringuanalüsaator suunab ebapiisava detailsuse korral päringu nõrgemalt komprimeeritud tasandile.
AWS pakub täielikku avatud lähtekoodiga rakendust, mille kliendid saavad juurutada oma AWS-kontos. Meetod on eriti oluline ettevõtetele, kes teostavad keerukaid due diligence’i protsesse, vastavusanalüüse või asutustevahelisi auditeid ning vajavad seejuures järjepidevaid vastuseid killustatud dokumendikogumite põhjal.
Allikas: aws.amazon.com · Avaldatud 27. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse art 50-le. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.