Lühidalt: Jõudluslõhe kohalike avatud lähtekoodiga mudelite ja pilvepõhiste tipptasemel mudelite vahel kahaneb neljale kuni kaheksale kuule, samal ajal kui lokaalsed süsteemid võtavad tagasi kontrolli andmete ja infrastruktuuri üle.
Ahmad Osman, Osmantic’u asutaja, peab avatud lähtekoodiga mudeleid üha elujõulisemaks alternatiiviks patenteeritud tipptasemel mudelitele. AI Engineer World’s Fair’il näitas ta töötubades, et lokaalsed tehisintellektisüsteemid on tehniliselt küpsemas ning muutumas huvipakkuvaks ka ettevõtte infrastruktuuri jaoks.
Ahmad Osman juhib ettevõtet Osmantic, mis tegeleb lokaalsete tehisintellektisüsteemide juurutamise ja käitamisega. AI Engineer World’s Fair’il viis ta läbi kaheosalise töötoa, kus tutvustas kohalikke suuri keelemudeleid ja tööjaamapõhiseid agente. Peamiseks eesmärgiks ei olnud teoreetiline arutelu, vaid praktiline demonstratsioon: iseseisvalt välja töötatud riistvara võrdlussüsteem näitas paralleelselt selliste süsteemide nagu DGX Spark ja AMD Strix Halo masinate tulemusi võrreldes tipptasemel pilvemudelitega, muutes jõudluse, väljundi kvaliteedi, kiiruse ja latentsuse vahetult jälgitavaks.
Toetus lokaalsele tehisintellekti infrastruktuurile ei tule enam ainult riistvarahuvilistelt, vaid ka ettevõtete otsustajatelt, kes tegelevad mudelite marsruutimise, privaatse infrastruktuuri ja andmete üle kontrolli küsimustega. Publiku hulgas oli nii üliõpilasi, kes kaalusid oma esimest tehisintellekti jaoks sobivat masinat, kui ka tippjuhte. Osman rõhutab, et tehniline reaalsus on alates 2022. aastast oluliselt muutunud: kui lokaalsed mudelid olid toona märgatavalt nõrgemad, siis nüüd on nende mahajäämus tipptasemel mudelitest kahanenud neljale kuni kaheksale kuule.
Levinud eksiarvamus on taandada lokaalne tehisintellekt üksiku mudeli käitamisele. Praktikas vajavad ka lokaalsed süsteemid sama infrastruktuuri mis pilveteenused: otsingujuurdepääsu, tööriistade ühendusi, versioonihaldust ja kontekstiakna haldust. Osman illustreerib seda konkreetse juhtumiga: kasutaja üritas lokaalselt installitud Claude Code’i ja RTX 5090 abil muuta GPU konfiguratsiooni – see ebaõnnestus. Pilvepõhine Claude’i versioon aga toimis. Põhjus: lokaalsel süsteemil puudus internetiühendus värske dokumentatsiooni jaoks, samas kui mudeli treeningandmete lõiketähtaeg oli aegunud. Otsingujuurdepääsu lisamisega probleem lahenes.
Osmani keskne väide on, et võime uurida, parandada, juurutada, kontrollida ja iseseisvalt käitada intelligentsussüsteeme ilma kolmandatelt osapooltelt luba küsimata on tehnoloogilise suveräänsuse jaoks keskse tähtsusega. See vaatenurk selgitab ka, miks ettevõtted investeerivad üha rohkem lokaalsesse infrastruktuuri: andmekaitse, latentsuse vähendamine ja sõltumatus üksikutest teenusepakkujatest kaaluvad üles ülesehituse keerukuse.
Allikas: www.latent.space · Avaldatud 1. juulil 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 poolt.