Lühidalt: CausalMix kasutab staatiliste eelduste asemel kausaalset modelleerimist, et leida optimaalseid andmete segamissuhteid, mis üldistuvad erineva suurusega andmekogumite ja mudelimastaapide lõikes.
Teadlased pakuvad välja CausalMix’i, lähenemise, mis sõnastab suurte keelemudelite treeningandmete segude optimeerimise kausaalse inferentsi ülesandena. Meetod üldistub erinevate mudelisuuruste lõikes, ilma et oleks vaja kulukat ümbertreenimist.
Erinevate andmeallikate omavaheline suhe suurte keelemudelite treenimisel mõjutab oluliselt lõplikku mudeli jõudlust. Senised meetodid optimeerivad segukaale proksimudelite abil, kuid eeldavad seejuures, et andmete jaotus püsib muutumatuna. Kui aluseks olev andmebaas muutub, peavad need meetodid treenimise otsast alustama — see on kulukas protsess, mis muudab skaleerimise väikestelt suurtele andmemahtudele ja mudelisuurustele praktikas võimatuks.
CausalMix käsitleb seda probleemi kausaalse inferentsi kaudu: andmekogumi statistilisi tunnuseid modelleeritakse kovariaatidena, domeenisegu aga sekkumisena (treatment). Pärast kausaalse inferentsi torustiku treenimist 512 Qwen2.5-0.5B mudeli läbimise peal, et hinnata tingimuslikku keskmist sekkumisefekti (Conditional Average Treatment Effect, CATE), ekstrapoleerib meetod optimaalse segu 800 000 elemendist koosneva andmekogumi jaoks ja rakendab seda 7 miljardi parameetriga mudeli treenimisel. Raamistikku üldistati edukalt ka pika mõttekäiguga (long-chain-of-thought) andmetele, kasutades Qwen3-4B-Base mudelit.
Otsustav eelis on see, et kausaalse modelleerimise abil eraldatakse segavad tegurid, mistõttu CausalMix tuletab olekupõhiselt optimaalsed andmesegud ilma ümbertreenimise vajaduseta. Ulatuslikes katsetes ületasid CausalMix’i juhitud segud järjepidevalt selliseid lähtemeetodeid nagu RegMix mitme allavoolu ülesande (downstream task) lõikes. Lisaks pakub raamistik CATE-tõlgendaja kaudu visuaalset ülevaadet õpitud segamisstrateegiatest.
Allikas: arxiv.org · Avaldatud 30. juuni 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 abil.