Lühidalt: Kordusega (looping) treenitud MoE-arhitektuuriga transformerid saavutavad sama treenimisressursi juures paremaid tulemusi kui suuremad tavamudelid.
Loopie on uus mixture-of-experts-transformerite seeria, mis saavutab kordamise (looping) abil parema tulemuse kui baasmudelid, ilma parameetrite arvu suurendamata, kasutades sama arvutusvõimsust. Mudeli kaks varianti — 20 miljardi ja 6 miljardi parameetriga — näitavad matemaatikaolümpiaadidel kuldmedali tasemel tulemuslikkust.
Loopie koosneb kahest mixture-of-experts-mudelist: 20 miljardi parameetriga mudelist, millest 2 miljardit on aktiivsed, ning 6 miljardi parameetriga mudelist, millest 0,6 miljardit on aktiivsed. Peamine tehniline edasiminek lahendab looped transformer-arhitektuuride pikaajalise probleemi: seni ületas parameetrite arvu N-kordne suurendamine treenimise arvutusvõimsuse N-kordsel kasvatamisel väiksema mudeli N-kordse kordamise (looping) tulemuslikkust.
Ablatsiooniuuringud, sealhulgas otsesed võrdlused 30 miljardi parameetriga tavamudeliga, millest 3 miljardit on aktiivsed, näitavad, et Loopie ületab seda võrdlusalust identse arvutuseelarve juures märkimisväärselt. See tähendab inseneritiimide jaoks, et sama treenimisvõimsuse juures on võimalik saavutada tõhusam arhitektuur, mitte lihtsalt mudeli suurust skaleerida.
Loopie kasutab uudset järeltreenimise (post-training) protsessi, mis võimaldab tugevaid arutlusvõimeid. 2025. aasta rahvusvahelistel matemaatika- (IMO) ja füüsikaolümpiaadidel (IPhO) saavutas Loopie kuldmedali tasemel tulemuslikkuse ilma väliste tööriistadeta. See viitab paranenud struktureeritud loogilise mõtlemise võimele, mis ületab tavapärase keelemudeli treenimise piire.
Allikas: arxiv.org · Avaldatud 16. juulil 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimise ja klassifitseerimise teostas Lumi News Pipeline v1.7.3.