Lühidalt: Metakognitiivse tagasisidega tugevdusõpe (RLMF) võimaldab suurtel keelemudelitel väljendada oma ebakindlust kalibreeritud viisil ning ületab standardsed tugevdusõppe meetodid kuni 63 protsendi võrra.
Teadlased on välja töötanud meetodi, mis treenib suuri keelemudeleid metakognitsioonil põhineva tugevdusõppe abil, et parandada nende enesehindamisvõimet ja väljendada ebakindlust usaldusväärsemalt. Eesmärk on, et hallutsineerivad tehisintellektimudelid tunneksid ära oma teadmiste piirid.
Praegused suured keelemudelid kannatavad põhjapaneva metakognitiivse puudujäägi all: nad genereerivad hallutsinatsioone suure kindlustundega, ei tuvasta usaldusväärselt oma teadmiste piire ning väljendavad oma sisemist ebakindlust ebatäpselt. See õõnestab nende usaldusväärsust, eriti turvakriitilistes rakendustes. Metakognitsioon ehk võime jälgida ja reguleerida oma kognitiivseid protsesse on intelligentsuse keskne aspekt, millega senised treeningparadigmad ei ole sihipäraselt tegelenud.
Teadlased on selle probleemi lahendamiseks välja töötanud kaks uut mehhanismi: „Reinforcement Learning with Metacognitive Feedback” (RLMF) täpsustab vastuste eelistuste järjestamist eelistusoptimeerimise käigus, tuginedes mudeli enesehindamiste kvaliteedile. Teine lähenemine kasutab sarnaseid enesehindamisi kvaliteetsete treeningnäidete valimiseks ning ületab seejuures naiivseid aktiivõppe meetodeid. Meetod töötab kaheetapiliselt: esmalt kalibreeritakse mudeli kindlustaseme väärtused, seejärel tõlgitakse need loomulikus keeles väljendatavateks ja kontekstile kohandatavateks ebakindluse väljendusteks.
Ulatuslikes katsetes saavutas RLMF erinevate ülesannete lõikes parema ebakindluse väljendamise kalibreerituse (Faithful Calibration), säilitades samal ajal mudeli täpsuse. Meetod ületab standardsed tugevdusõppe meetodid kuni 63 protsendi võrra ning parandab tõendatult LLM-ide võimet hinnata ja väljendada oma võimekuse piire.
Allikas: arxiv.org · Avaldatud 29. juuni 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 abil.