Kokkuvõtlikult: Rühmapõhise proovivõtu asemel kasutatav ühe väljarulluga proovivõtt stabiliseerib asünkroonset RL-treeningut ja edestab GRPO-d agendipõhistel võrdlusalustel.
Teadlased on tutvustanud meetodit Single-rollout Asynchronous Optimization (SAO), mis võimaldab suurte keelemudelite tugevdusõppe stabiilset asünkroonset optimeerimist. SAO asendab rühmapõhise proovivõtustrateegia ühe väljarulluga proovivõtuga, lahendades sellega agendipõhiste treenimistorustike stabiilsus- ja off-policy-probleeme.
Suurte keelemudelite järeltreeningus kasutatavad sünkroonsed partii-RL-torustikud on ebaefektiivsed pikahorisondiliste ülesannete puhul, kus agendid peavad tegutsema autonoomselt mitme sammu vältel. Asünkroonsed RL-süsteemid lahendavad selle probleemi väljarullude saabumisel toimuvate reaalajauuenduste abil, kuid ohverdavad seejuures sageli treeningu stabiilsuse läbilaskevõime nimel. Laialt levinud GRPO-raamistik kasutab rühmapõhist proovivõttu — lähenemist, mis ei sobitu loomulikult asünkroonse agendipõhise treeninguga.
SAO-meetod tugineb selle asemel ühe väljarulluga proovivõtule: iga vihje kohta üks väljarull mitme asemel. See vähendab off-policy-mõjusid ja parandab üldistusvõimet. Sellele lisanduvad praktilised väärtusmudeli treenimisvõtted ning range kahepoolne token-tasandi piiramisstrateegia optimeerimise stabiliseerimiseks. Meetod treenib stabiilselt tuhande sammu vältel.
Sellistel võrdlusalustel nagu SWE-Bench Verified, BeyondAIME ja IMOAnswerBench kodeerimise ja arutlusoskuse valdkonnas edestab SAO järjekindlalt GRPO-d ja selle variante. Eriti tõhusaks osutub ühe väljarulluga strateegia simuleeritud reaalajaõppe seadetes, kus mudel peab kohanema muutuva keskkonnaga. SAO-d on juba edukalt rakendatud 750 miljardi parameetriga mudeli GLM-5.2 (avatud lähtekoodiga versioon) agendipõhises RL-treenimistorustikus.
Allikas: arxiv.org · Avaldatud 7. juulil 2026
Lumi AI News — tehisintellekti abiga kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 poolt.