Reverse Direct Preference Optimization (rDPO) võimaldab eemaldada mudeli parameetritest konkreetseid modereerimisreegleid, säilitades samas üldised võimed ja teistes valdkondades saavutatud vastavuse (alignment).