Lühidalt: Soofi S 30B-A3B on saksakeelsetel andmetel treenitud avatud lähtekoodiga keelemudel Mixture-of-Experts-arhitektuuriga, mis pakub tänu valikulisele parameetrite aktiveerimisele (3B/30B) läbilaskevõidu eeliseid pikkade kontekstide korral.
Teadlased on välja töötanud Soofi S 30B-A3B, sõltumatu avatud lähtekoodiga keelemudeli saksa ja inglise keele jaoks, mis treeniti Euroopa HPC-infrastruktuuril. Mudel ühendab Mamba- ja transformer-arhitektuuri Mixture-of-Experts-disaini raames ning kasutab iga tokeni kohta vaid 3 miljardit 30 miljardist parameetrist.
Soofi S 30B-A3B on Mixture-of-Experts-hübriidarhitektuur, mis koosneb Mamba- ja transformer-komponentidest ning mis eeltreeniti umbes 27 triljonil tokenil, kusjuures saksakeelseid treeningandmeid kaalustati sihipäraselt üle. Mudel aktiveerib iga tokeni kohta vaid 3 miljardit kokku 30 miljardist parameetrist ja säilitab konstantse järelduse vahemälu suuruse ka konteksti kasvades.
Soofi S saavutab inglis- ja saksakeelsetel võrdlusalustel jõudluse, mis on võrreldav 14–27 miljardi parameetriga tihedate mudelitega, ning saavutab mõlemas keeles parima koodiagregaadi 17 avatud baasmudeli seas. Täielikult avatud mudelite seas edestab Soofi S hindamise kohaselt konkurente Olmo 3 32B ja Apertus 70B nii inglise kui ka saksa keeles. Kõik hinnatud Euroopa sõltumatuse võrdlusmudelid jäävad Soofi S-ist maha.
Tehnikajuhtide jaoks on oluline läbilaskevõidu eelis pika konteksti ja suure samaaegsuse stsenaariumide korral: kuna aktiveeritakse 30 miljardi asemel vaid 3 miljardit parameetrit ning vahemälu suurus püsib konstantsena, väheneb latentsus ja ressursikulu tihedate mudelitega võrreldes märkimisväärselt. Mudel treeniti täielikult German Industrial AI Cloudi peal, mis on Deutsche Telekomi poolt Münchenis käitatav HPC-infrastruktuur.
Soofi S avaldatakse väga vabade avatud juurdepääsu tingimuste alusel: avalikustatakse mudeli kaalud, valitud vahepealsed kontrollpunktid, täielik andmete päritolu dokumentatsioon, hüperparameetrid ning treening- ja hindamiskood. Vabade lähtelitsentside puhul avaldatakse ka andmete koostamise artefaktid; kommertslitsentsiga allikad on dokumenteeritud koondstatistika ja täpse segamisbilansi abil.
Allikas: arxiv.org · Avaldatud 9. juuli 2026
Lumi AI News — tehisintellekti abil toimetatud kuraator vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 poolt.