Skip to content

Orkestreerimisraamistiku valik mõjutab oluliselt tehisintellektiagentide turvalisust

Lühidalt: Sama tehisintellektimudeli puhul kõigub kompromiteerimismäär pelgalt orkestreerimisraamistiku valikust olenevalt 11,9–31,1 protsendi vahel.

LangChaini, CrewAI, AutoGeni ja SmolAgentsi süstemaatiline testimine näitab: identse tehisintellektimudeli korral kõigub kompromiteerimismäär olenevalt orkestreerimisraamistikust 2,6-kordselt. Raamistiku valik ei ole seega ainult inseneriotsus, vaid turvaotsus.

CSO Online’i autor töötas välja testraamistiku, mis rakendab tehisintellektiagentide vastu samu vaenulikke ründemustreid – muu hulgas tööriistakutsete kaaperdamist, ristplatvormilist süstimist, mälu mürgitamist ja delegeeritud õiguste kuritarvitamist. Selleks et mõõta orkestreerimisraamistiku mõju isoleeritult, hoiti aluseks olev mudel muutumatuna; varieeriti üksnes raamistikku, mis juhib tööriistakutseid, mälu ja mitmeastmelist arutlust: CrewAI, LangChain, AutoGen ja SmolAgents. Metoodika ja andmestik on avaldatud GitHubis.

Mitme tuhande vaenuliku testkäigu jooksul jäi kompromiteerimismäär 11,9 protsendi (kõige vastupidavam raamistik) ja 31,1 protsendi (kõige haavatavam raamistik) vahele – vahemik, mis tuleneb üksnes raamistiku valikust, kuna ei mudelit ega ründemustreid muudetud. Autori sõnul on see erinevus piiriks meeskonnale vastuvõetava turvataseme ja sellise taseme vahel, mis nõuab enne tootmiskeskkonda juurutamist tõsist läbivaatust.

Orkestreerimisraamistik defineerib tarkvarakihi tehisintellektimudeli ja välismaailma vahel: see määrab, kuidas agent oma samme planeerib, millal ta tööriistu või rakendusliideseid kutsub, kuidas ta hoiab teavet ülesande jooksul mälus ning kui palju autonoomiat tal on, enne kui ta peab tagasisidet küsima. Mudel vastutab arutluse eest, raamistik otsustab, mida selle arutlusega teha tohib. Raamistikud erinevad konkreetselt selle poolest, kui rangelt tööriistakutseid valideeritakse, kui palju konteksti arutlussammude vahel jagatakse, kuidas mälu ülesande jooksul säilib ja kui palju autonoomiat agendil on tegevuste ahelasse sidumiseks ilma tagasi küsimata.

Näitena toob autor nõude, et iga tööriistakutse peab enne käivitamist läbima selgesõnalise skeemikontrolli – selline lahendus jätab ründajatele oluliselt vähem manööverdamisruumi kahjulike parameetrite sisestamiseks kui raamistik, mis lubab mudelil tööriistu otse genereeritud tekstist kutsuda. Sellised arhitektuuriotsused on vastava raamistiku autorid teinud ammu enne, kui arendusmeeskond seda kasutama hakkab, ning need võivad ilma ühegi omapoolse koodimuudatuseta põhjustada kompromiteerimismääras 2,6-kordse erinevuse.

Sellest järeldub tootmiskeskkonnas mitmeagendisüsteeme kasutavatele inseneriamekondadele, et LangChaini, CrewAI, AutoGeni või sarnaste raamistike valik ei tohiks põhineda üksnes arendajakogemusel või ökosüsteemi küpsusel. Turvalisuse seisukohalt olulised arhitektuurijooned, nagu range tööriistakutsete valideerimine ja konservatiivne mälu segmenteerimine, väärivad raamistiku valikul sama kaalu kui funktsionaalsed kriteeriumid.


Allikas: www.csoonline.com · Avaldatud 5. augustil 2026
Lumi AI News — tehisintellekti abil koostatud kuratsioon vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.8.3 poolt.

Share on: