Skip to content

Süstelduskäsklused: kontrolli kadumine keelepõhiste süsteemide üle praktikas

Lühidalt: Süstelduskäsklus on suurte keelemudelite rakenduste kõige levinum turvarisk, mis võimaldab ründajatel kuritarvitada keelemudeleid andmete väljalekitamiseks.

Süstelduskäsklus on OWASP-i suurte keelemudelite rakenduste riskiloetelus esikohal. Kasutajate sisendites või kaasatud veebilehe sisus peituvad varjatud käsud võivad ajendada keelemudeleid kalduma kõrvale oma määratletud turvapõhimõtetest ning viia tundlike andmete lekkeni.

Süstelduskäsklustega rünnete puhul põimitakse sisenditesse peidetud või kaudsed käsud, mis panevad tehisintellektipõhised keelemudelid, näiteks Claude’i või GPT variandid, ignoreerima oma algseid juhiseid. See toimub kas otsese manipuleerimise teel kasutaja sisendis või kaudselt väliste andmeallikate, näiteks veebilehtede või dokumentide kaudu, mida mudel töötleb.

Tehnikajuhtidele ja turbevastutajatele on see kriitilise tähtsusega: süsteemid, mis kasutavad suuri keelemudeleid põhikomponendina — näiteks klienditeeninduse vestlusrobotites, sisemises dokumendianalüüsis või andmetöötluses — võib selliste süsteldudkäskluste abil sundida avaldama ärisaladusi, kliendiandmeid või autentimisteavet. Ründaja võib näiteks näiliselt kahjutu faili või veebilehe sisu kaudu, mida mudel analüüsib, süstida süsteemi käske, ilma et süsteldus oleks käsklustes endis nähtav.

OWASP-i paigutus rõhutab selle ohu esmatähtsust suurte keelemudelite turvariskide spektris. Vastumeetmete hulka kuuluvad range sisendite valideerimine, väliste sisude eraldatud töötlemisteed, mudeli väljundite logimine auditeerimiseks ning korrapärane punase meeskonna testimine. Eriti oluline on see organisatsioonidele, kes kasutavad Claude Code’i või sarnaseid agentuurifunktsioone, mis võimaldavad mudeli juhiste põhjal koodi käivitamist või süsteemidega integreerimist.


Allikas: www.computerweekly.com · Avaldatud 2. juulil 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 abil.

Share on: