Auf den Punkt: Reverse Direct Preference Optimization (rDPO) ermöglicht es, spezifische Moderationsrichtlinien aus Modell-Parametern zu entfernen, während allgemeine Fähigkeiten und Alignment in anderen Bereichen erhalten bleiben.
Amazon führt mit Nova ein Verfahren zur gezielten Anpassung von Inhaltsmoderationen in Foundation Models ein. Organisationen können damit Sicherheitsbarrieren selektiv anpassen, ohne das gesamte Modell neu zu trainieren.
Foundation Models verfügen über Inhaltsmoderationen, die während des Alignment-Trainings eingebettet werden. Diese Schutzmaßnahmen können jedoch auch legitime, geschäftskritische Anwendungsfälle blockieren: Ein Sicherheitsteam, das Phishing-E-Mails zu Schulungszwecken generiert, ein Rechtsanwaltsteam, das sensitive Beweise verarbeitet, oder Cybersecurity-Experten bei Threat-Simulationen erhalten Ablehnungen, obwohl ihre Absicht defensiv ist. Prompt Engineering allein kann diese in die Modellparameter eingebetteten Ausweichreaktionen nicht überwinden.
Amazon Nova adressiert dies über die Customizable Content Moderation Settings (CCMS), die genehmigten Kunden ermöglichen, Schutzmaßnahmen in vier Verantwortungs-Kategorien selektiv anzupassen: Safety (gefährliche Aktivitäten, Waffen, Drogen), Sensitive Content (Schimpfwörter, Nudität, Mobbing), Fairness (Bias, Kulturaspekte) und Security (Malware, Schadcode). Amazon behält nicht-konfigurierbare Kernkontrollen, etwa zum Schutz von Kindern und Datenschutz, verbindlich bei.
Die technische Grundlage ist Unlearning mittels Reverse Direct Preference Optimization (rDPO). Dabei werden Low-Rank Adaptation (LoRA) Adapter trainiert, um Alignment-Verhalten für spezifische Richtlinien zu reversen. Während standard-basierte Approaches wie Negative Preference Optimization (NPO) das Modell nur vom Deflection-Verhalten „wegtrainieren“, lehrt rDPO das Modell aktiv alternative hochwertige Antworten, indem die Präferenzpaare im DPO-Verfahren umgekehrt werden. Das vermeidet Qualitätsabfälle und erhält allgemeine Fähigkeiten wie Instruktionsfolgung, Code-Generierung und mathematisches Reasoning.
Kunden importieren den angepassten LoRA-Adapter und erhalten eine eigene Modellvariante mit eindeutiger Amazon Resource Name (ARN). Bei Inferenz steuert der Adapter das Core-Modell gezielt weg von Deflection-Verhalten in den genehmigten Richtlinienbereichen, während Output-Moderationssysteme entsprechend konfiguriert werden. Dadurch bleibt das Modell außerhalb der Anpassungsbereiche vollständig aligned.
Quelle: aws.amazon.com · Erschienen 7. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.