Skip to content

Saksa konsortsium Soofi avaldas Mamba-transformeri hübriidarhitektuuriga keelemudeli

Lühidalt: Soofi S aktiveerib 30 miljardist parameetrist token kohta vaid 3 miljardit ning ületab sellega Euroopa ja USA avatud lähtekoodiga mudeleid märgatavalt väiksema arvutusressursi kuluga.

Teaduskonsortsium Soofi avaldas avatud lähtekoodiga mudeli Soofi S 30B-A3B, mis ületab inglis- ja saksakeelsetes võrdlustestides rahvusvahelisi avatud lähtekoodiga konkurente. Mudel ühendab Mamba- ja transformeri-arhitektuure segaekspertide (Mixture-of-Experts) disainiga ning treeniti Deutsche Telekomi tehisintellekti pilveinfrastruktuuris.

Mudel Soofi S 30B-A3B põhineb segaekspertide arhitektuuril (MoE), mille puhul närvivõrk jaguneb spetsialiseeritud alamüksusteks, mis aktiveeritakse valikuliselt vastavalt töödeldavatele andmepakettidele. Üldarhitektuur ühendab endas Mamba ja transformeri elemente. 30 miljardi koguparameetri juures aktiveerib süsteem iga töödeldava tokeni kohta vaid 3 miljardit parameetrit. See vähendab töö käigus vajaminevat arvutusressurssi märkimisväärselt.

MoE-arhitektuuri üks eelis seisneb konteksti mäluefektiivsuses: arvutuste vahemälu maht püsib kasvava tekstikonteksti korral peaaegu muutumatuna. See võimaldab kiiruseeliseid pikkade dokumentide töötlemisel ja mitme kasutaja samaaegsete päringute käsitlemisel võrreldes tihedalt asustatud transformeritega. Rakendust treeniti täies mahus Deutsche Telekomi tehisintellekti pilveinfrastruktuuris.

arXivis avaldatud tehnilise raporti kohaselt on Soofi S praegu võimekaim täielikult avatud mudel inglis- ja saksakeelsetes testides. See ületab selliseid avatud lähtekoodiga konkurente nagu Alia 40B (Hispaania), EuroLLM 22B, Apertus 70B (Šveits) ja Olmo 3 32B (USA). Koondtestides saavutab Soofi S suletud mudelite taseme, millel on 14 kuni 27 miljardit parameetrit, kuid selleks kulub vaid murdosa aktiivsete parameetrite ressursikulust. Nõrgemalt esines mudel MMLU-Pro (üldteadmised) ja GPQA-D-DE (edasijõudnud teaduslik loogika) testides, kuid ületas ka seal teisi avatud lähtekoodiga võrdlusmudeleid. Michael Fromm, Soofi eeltreeningandmete juht, rõhutas: „Meie eelis on võimekus + läbilaskevõime + täielik avatus.”

Juurdepääs mudelile ei ole realiseeritud vabalt kättesaadava vestlusrobotina internetis. Ettevõtted ja organisatsioonid peavad esitama juurdepääsutaotlused koos konkreetse kasutusstsenaariumiga. Karl Lauterbach, Bundestagi teadus-, tehnoloogia- ja kosmosekomisjoni esimees, selgitas, et Soofi ei konkureeri tipptasemel mudelitega nagu Claude või OpenAI süsteemid, kuid sobib hästi paljudele tööstusrakendustele ja haldusülesannetele.


Allikas: www.it-daily.net · Avaldatud 17. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt EU tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 poolt.

Share on: