Lühidalt: Reverse Direct Preference Optimization (rDPO) võimaldab eemaldada mudeli parameetritest konkreetseid modereerimisreegleid, säilitades samas üldised võimed ja teistes valdkondades saavutatud vastavuse (alignment).
Amazon tutvustab Nova mudeliga meetodit, mis võimaldab foundation-mudelite sisumodereerimist sihipäraselt kohandada. Organisatsioonid saavad selle abil turvapiiranguid valikuliselt muuta, ilma et kogu mudelit uuesti treenida oleks vaja.
Foundation-mudelitel on sisumodereerimismehhanismid, mis pannakse paika alignment-treeningu käigus. Need kaitsemeetmed võivad aga blokeerida ka legitiimseid, ärikriitilisi kasutusjuhtumeid: turvameeskond, kes genereerib koolituse eesmärgil andmepüügikirju, õigusbüroo meeskond, kes töötleb tundlikke tõendeid, või küberturvalisuse eksperdid ohusimulatsioonide käigus saavad keeldumisi, kuigi nende kavatsus on kaitsev. Pelgalt viipade (prompt engineering) täiustamisest ei piisa, et ületada neid mudeli parameetritesse sisse ehitatud vältimisreaktsioone.
Amazon Nova lahendab selle probleemi kohandatavate sisumodereerimise seadete (Customizable Content Moderation Settings, CCMS) abil, mis võimaldavad heakskiidetud klientidel kaitsemeetmeid valikuliselt kohandada neljas vastutusvaldkonnas: turvalisus (ohtlikud tegevused, relvad, uimastid), tundlik sisu (vandesõnad, alastiolek, kiusamine), õiglus (kallutatus, kultuurilised aspektid) ja turbe (pahavara, kahjulik kood). Amazon säilitab siduvana mittekonfigureeritavad põhikontrollid, näiteks lastekaitse ja andmekaitse osas.
Tehniline alus on unustamine (unlearning) Reverse Direct Preference Optimization (rDPO) meetodi abil. Selle käigus treenitakse Low-Rank Adaptation (LoRA) adaptereid, et pöörata ümber alignment-käitumine konkreetsete reeglite osas. Kui standardsed meetodid, näiteks Negative Preference Optimization (NPO), üksnes „treenivad mudelist välja” vältimiskäitumise, siis rDPO õpetab mudelile aktiivselt alternatiivseid kvaliteetseid vastuseid, pöörates DPO-meetodi eelistuspaarid ümber. See väldib kvaliteedi langust ja säilitab üldised võimed, nagu juhiste järgimine, koodi genereerimine ja matemaatiline arutlusvõime.
Kliendid impordivad kohandatud LoRA-adapteri ja saavad enda mudeliversiooni, millel on unikaalne Amazon Resource Name (ARN). Järelduse tegemisel suunab adapter põhimudeli sihipäraselt eemale vältimiskäitumisest heakskiidetud reeglivaldkondades, samal ajal kui väljundi modereerimissüsteemid seadistatakse vastavalt. Nii jääb mudel väljaspool kohandatud valdkondi täielikult vastavusse (aligned).
Allikas: aws.amazon.com · Avaldatud 7. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 poolt.