Lühidalt: 4 miljardi parameetriga kompilaator tõlgib loomulikus keeles funktsioonikirjeldused kompaktseteks, kohapeal käivitatavateks adapteriteks, mis juhivad 0,6 miljardi parameetriga interpretaatori mudelit ja asendavad sellega 32 miljardi parameetriga mudelite API-päringud.
Teadlased pakuvad välja meetodi, mille puhul suured keelemudelid genereerivad kompileerimisajal neuronaalseid adaptereid ebamäärastele programmeerimisülesannetele, mida saab seejärel käivitada offline ja kohapeal. Meetod vähendab mälukasutust ja latentsust võrreldes API-päringutega.
Program-as-Weights (PAW) lahendab reaalset inseneriprobleemi: ülesandeid nagu logiridade filtreerimine asjakohasuse järgi, vigaste JSON-struktuuride parandamine või otsingutulemuste järjestamine on keeruline realiseerida klassikaliste if-else-reeglitega, kuid neid delegeeritakse üha sagedamini otse API kaudu keelemudelitele. See toob kaasa suure sõltuvuse välistest teenustest, kohapealse korratavuse puudumise ja pidevad API-kulud.
Lähenemine töötab kaheastmelisena: 4 miljardi parameetriga kompilaator treeniti FuzzyBenchil, mis on 10 miljonit näidet sisaldav andmestik selliste ebamääraste funktsioonide jaoks. See kompilaator võtab vastu loomulikus keeles spetsifikatsiooni ja genereerib parameetritõhusa adapteri (väikese kaalumaatriksi), mis ühendatakse külmutatud 600 miljoni parameetriga interpretaatoriga. Nii tekkivad adapterid on pisikesed, täielikult offline käivitatavad ning vajavad suure mudeli kasutamist ainult funktsiooni definitsiooni loomisel.
Hindamisel näitas Qwen3-0.6B interpretaator koos PAW-adapteritega sama täpsust kui Qwen3-32B mudeli otsene promptimine. Järelduse (inference) mäluvajadus langes umbes viiekümnendikuni ning MacBook M3-l saavutas süsteem kiiruse 30 tokenit sekundis. Kontseptuaalselt on ümbermõtestamine huvitav: baasmudel muutub sisendipõhisest probleemilahendajast tööriistaehitajaks, keda kutsutakse iga funktsiooni jaoks vaid üks kord ja mis jätab maha korduvkasutatava, odava artefakti.
Andmestik FuzzyBench tehakse avalikult kättesaadavaks, mis võimaldab teistel rühmadel treenida sarnaseid kompilaatoreid või laiendada meetodit teistele erisugustele ülesannetele.
Allikas: arxiv.org · Avaldatud 1. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 poolt.