Lühidalt: WARP taastab keelemudelite treeningallikate segud nende kaalude põhjal, saavutades keskmise absoluutvea 0,046 BERT-i ja 0,104 GPT-2 puhul.
Teadlased on välja töötanud raamistiku, mis taastab treenitud keelemudelite andmekoosseisu üksnes nende avaldatud kaalude põhjal. Meetod kasutab mudelite interpoleerimist, et simuleerida puuduvaid treenimistrajektoore ja tuua esile varjatud mustreid kaalude geomeetrias.
Foundation-mudeleid avaldatakse tavapäraselt, kuid nende treenimisretseptid — näiteks segamiskaalud, mis määravad, kuidas eri andmeallikad omavahel kombineeriti — jäävad enamasti dokumenteerimata. See asümmeetria raskendab sõltumatutel teadlastel mudeli taga oleva tegeliku treeningandmete jaotuse mõistmist. Senised treeningandmete tuletamise meetodid, näiteks liikmelisuse tuvastamine (membership inference), töötavad valimi tasandil ega suuda iseloomustada treeningkorpuse üldist koosseisu.
WARP (Weight-Space Analysis for Recovering Training Data Portfolios) lahendab selle probleemi, taastades domeenisegud otse mudeli kaaludest. Meetod interpoleerib mudelite ühendamise (model merging) abil baasmudeli ja peenhäälestatud mudeli vahel, luues nõnda pseudo-kontrollpunktid, mis lähendavad puuduvat treenimistrajektoori. Need simuleeritud kõverad toovad kaaluruumis esile treeningandmete geomeetrilise jälje. Nendest jälgedest eraldab WARP geomeetrilised tunnused ja seostab need domeenide osakaaludega — kas parameetriteta softmax-väljundi abil või sünteetiliste segude peal treenitud MLP-projektori abil.
Kontrollitud katsetes BERT-i ja GPT-2-ga saavutab WARP domeenisegude taastamisel keskmise absoluutvea (MAE) vastavalt 0,046 ja 0,104. Süsteem ületab seejuures nii klassikalist liikmelisuse tuvastamise meetodit kui ka varianti, millel on juurdepääs tegelikule treenimistrajektoorile. Meetod võiks aidata kaotada läbipaistvuse lünki ja võimaldada jälgida avaldatud mudelite tegelikku andmealust.
Allikas: arxiv.org · Avaldatud 1. juulil 2026
Lumi AI News — tehisintellekti abil kureeritud sisu vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.