Lühidalt: Tokenite logit-jaotustel põhinev verifitseerimine võimaldab agenditegevuste peeneteralist ja skaleeruvat hindamist ilma täiendava treeninguta.
Teadlased tutvustavad verifitseerimisraamistikku, mis kasutab agentide väljundite hindamiseks suurte keelemudelite (LLM) võimekust ning tugineb sealjuures diskreetsete skooride asemel pidevatele skooridele. Meetod ei vaja täiendavat treenimist ja skaleerub mitmes mõõtmes: skooride granulaarsus, korduvad hindamised ja kriteeriumide lahutamine osadeks.
Raamistik LLM-as-a-Verifier käsitleb verifitseerimist — võimet määrata lahenduse õigsust — kui uut skaleerumistelge LLM-idele. Erinevalt tavapärastest hindajatest, mis väljastavad diskreetseid skoore, arvutab raamistik skoore andvate tokenite logitide jaotuse põhjal oodatavad väärtused ning loob nii pidevaid skoore ilma treenimiskuluta.
Süsteem skaleerub kolmes peamises mõõtmes: (1) suurem skooride granulaarsus tagab parema eristuse õigete ja vigaste lahenduste vahel, (2) korduvad hindamised ning (3) hindamiskriteeriumide osadeks lahutamine vähendavad hajuvust ja keerukust. Pidev vormistus võimaldab lisaks kasutada kuluefektiivset järjestamisalgoritmi, mille abil valitakse mitme kandidaadi seast parim lahendus.
Võrdlustestides saavutab LLM-as-a-Verifier tulemuseks 86,5% testil Terminal-Bench V2, 78,2% testil SWE-Bench Verified, 87,4% testil RoboRewardBench ja 73,3% testil MedAgentBench. Peeneteralised signaalid toimivad ühtlasi asendusnäitajana ülesannete edenemise jälgimisel — Claude Code laiendus kasutab seda agentsete süsteemide jälgimiseks.
Raamistikku saab praktikas rakendada ka tagasisidesignaalina tugevdusõppes (reinforcement learning): SAC ja GRPO meetoditega tehtud katsed näitavad paranenud proovitõhusust robootika ja matemaatilise arutlemise võrdlustestides.
Allikas: arxiv.org · Avaldatud 5. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 poolt.