Lühidalt: Nvidia ühendab autoregressiivse ja difusioonpõhise dekodeerimise ühte kolmerežiimilisse mudelisse, mis 8 miljardi parameetriga versioonis saavutab 6 korda kiirema tokenite genereerimise kui võrreldavad avatud lähtekoodiga mudelid.
Nvidia on välja töötanud Nemotron-Labs-Diffusioni – keelemudeli, mis ühendab ühes arhitektuuris autoregressiivse dekodeerimise, difusioonpõhise dekodeerimise ja eneseeeldusdekodeerimise (self-speculation). Mudel suudab olenevalt kasutusstsenaariumist ja koormusest režiimide vahel vahetada, et saavutada suurim võimalik läbilaskevõime.
Nemotron-Labs-Diffusion loodi kasutades kombineeritud treeningeesmärki, mis hõlmab nii autoregressiivset kui ka difusioonipõhist meetodit. Peamine leid seisneb selles, et need kaks lähenemist täiendavad teineteist: difusioon parandab mitme tokeni ettevaatavat planeerimist, samal ajal kui autoregressiivne treening annab mudelile klassikalised vasakult paremale suunatud keelelised eeldused.
Eneseeeldusdekodeerimise režiimis toimib difusioonikomponent visandi (draft) genereerijana, samas kui autoregressiivne komponent tegeleb kontrollimisega. Arendajate sõnul edestab see konfiguratsioon mitme tokeni ennustamise meetodeid nii aktsepteerimismäära kui ka tegeliku seadmepõhise tõhususe poolest. Teoreetiline analüüs näitab, et pikas perspektiivis suudab difusioon iga edasisuunalise läbimise (forward pass) kohta töödelda kuni 76,5% rohkem tokeneid kui eneseeeldusdekodeerimise režiim optimaalsete valimimeetodite korral.
Mudeliperekond hõlmab variante 3 miljardi, 8 miljardi ja 14 miljardi parameetriga, sealhulgas baas-, juhis- (instruct) ja nägemis-keele (vision-language) mudeleid. Tootja andmetel dekodeerib 8B mudel iga edasisuunalise läbimise kohta 6 korda rohkem tokeneid kui Qwen3-8B, säilitades võrreldava täpsuse, ning saavutab SPEED-Benchi testis SGLangi kasutades GB200 graafikaprotsessoril 4 korda suurema läbilaskevõime.
Allikas: arxiv.org · Avaldatud 6. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.