Auf den Punkt: LLM-i tugevdusõppes esinev treening-järelduse ebakõla põhjustab püsivat off-policy-nähtust; MIPU lahendab selle, aktsepteerides tegevuspõhimõtte uuendusi valikuliselt järelduspoolsete parenduste alusel.
Teadlased tuvastasid suurte keelemudelite tugevdusõppe treenimisel põhimõttelise probleemi: kuna treenimine ja järeldamine toimuvad erinevatel mootoritel, tekivad samade jadade jaoks ebakõlalised tõenäosused, mis põhjustab püsivat off-policy-olekut ja seab ohtu treenimise stabiilsuse.
Suurte keelemudelite järeltreenimises kasutatav tugevdusõpe on habras ning altis ebastabiilsusele või täielikule kokkuvarisemisele. Peamine põhjus on treening-järelduse ebakõla: suured keelemudelid kasutavad genereerimiseks (tõhususe huvides) ja treenimiseks (täpsuse huvides) eraldi mootoreid, mis annavad identsete trajektooride puhul vastuolulisi tõenäosustulemusi — isegi kui mudeli parameetrid on omavahel sünkroonis. See tekitab püsiva off-policy-olukorra, mis kahjustab treeningprotsessi.
Varasemad tööd on püüdnud seda off-policy-nähtust käsitleda ja treenimise tegevuspõhimõtteid stabiliseerida. Uus uuring toob aga esile senini tähelepanuta jäänud probleemi: treeningmootoris tehtud tulemuslikud tegevuspõhimõtte uuendused ei taga järelduspoolse tegevuspõhimõtte — ehk selle, mis reaalselt tootmiskeskkonnas töötab — paranemist. Tegemist on eesmärkide mittevastavusega.
Autorid pakuvad välja uue optimeerimiseesmärgi Monotonic Inference Policy Improvement (MIPI) ning rakendavad seda raamistikus Monotonic Inference Policy Update (MIPU). MIPU toimib kahes etapis: see koostab valimivõtjale (sampler) tuginevad kandidaatuuendused ning aktsepteerib neid valikuliselt, kasutades proksit järelduspoolse lõhe hindamiseks. Katsed kahe erineva mudelisuurusega suure ebakõla tingimustes näitasid paranemist nii keskmises arutlusvõime tulemuslikkuses kui ka treenimise stabiilsuses.
Allikas: arxiv.org · Avaldatud 27. juuni 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.