Lühidalt: Google’i uus raamistik automatiseerib koodiagentide viieastmelise hindamisprotsessi ning võimaldab turvalisi optimeerimisi adaptiivse hindamise ja vigade klasteranalüüsi abil.
Google avaldas uue tööriista koodiagentide kvaliteedi automatiseeritud kontrolliks, mis kontrollib prompti muudatusi süstemaatiliselt regressioonide suhtes ja hindab neid pidevalt reaalse tootmiskeskkonna liikluse põhjal.
Tehisintellekti agentide arendamisel seisavad arendajad sageli silmitsi praktilise dilemmaga: prompti kohandused üksikute vigade parandamiseks põhjustavad tihti ootamatuid halvenemisi teiste ülesannete täitmisel, kuid see selgub alles tootmiskeskkonnas. Google lahendab selle probleemi uue hindamisoskusega koodiagentide jaoks, mis kontrollib kvaliteediparandusi süstemaatiliselt.
Raamistik rakendab viieastmelist hindamistsüklit: andmete ettevalmistus (testjuhtumite kogumine), järelduskäik, adaptiivne hindamine AutoRaterite abil, ebaõnnestunud juhtumite klasteranalüüs ning sihipärased optimeerimised. Arendajad määratlevad oma testieesmärgid loomulikus keeles, samal ajal kui sõltumatu hindamisteenus mõõdab ja kinnitab tegelikke tulemuslikkuse paranemisi.
Tööriista saab kasutada nii pidevalt reaalsete tootmiskeskkonna päringute vastu kui ka päringu alusel sünteetiliste testistsenaariumidega. Adaptiivne AutoRater-komponent kohandab hindamiskriteeriume dünaamiliselt vastavalt konkreetsetele veatüüpidele, mitte ei rakenda üldisi mõõdikuid. Nii saavad arendajad testida prompti muudatusi ilma, et nad tegutseksid kõrvalmõjude suhtes pimesi.
Allikas: developers.googleblog.com · Avaldatud
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 poolt.