Auf den Punkt: Fairness Pruning lokalisiert demografische Verzerrungen in GLU-MLP-Schichten durch Analyse differentieller Neuronenaktivierung und entfernt sie mit minimalem Capability-Verlust.
Forscher präsentieren eine Methode zur gezielten Identifikation und Manipulation von Neuronen in Sprachmodellen, die demografische Verzerrungen verarbeiten. Bei Modellen der 3-Milliarden-Parameter-Klasse lassen sich solche Verzerrungen durch das Deaktivieren von weniger als 40 Neuronen reduzieren, ohne Fachkompetenz zu beeinträchtigen.
Fairness Pruning ist ein Struktureingriff zur Lokalisierung und Reduktion demografischer Verzerrungen in großen Sprachmodellen. Die Methode nutzt minimal kontrastive Prompt-Paare und erfasst Aktivierungen während der Inferenz, um Neuronen zu identifizieren, die bei der Verarbeitung demografischer Attribute unterschiedlich reagieren. Die Analyse konzentriert sich auf den down_proj-Input in GLU-Architekturen. Die empirische Evaluierung umfasste Modelle bis zu 3 Milliarden Parametern, darunter die Llama-3.2-Familie und Salamandra-2B, kombiniert mit Standardbenchmarks und qualitativen Textgenerierungstests.
Das zentrale Ergebnis lautet: Das Deaktivieren identifizierter Neuronen ändert systematisch, wie das Modell auf demografische Variablen reagiert. Der Effekt ist dabei hochgradig chirurgisch: Bei Llama-3.2-1B genügen maximal 40 Neuronen – weniger als 0,031 % der MLP-Breite – um eine Verzerrungsreduktion zu erreichen. Gleichzeitig behalten die Modelle 99,49 % ihrer Leistung in Reasoning und allgemeinem Wissen bei. Die Intervention führt allerdings nicht zu einer einfachen Reduktion der Verzerrung, sondern zu einer bidirektionalen Destabilisierung: Weil der BiasScore unsigniert ist, enthalten die identifizierten Neuronensätze sowohl solche, die Stereotype verstärken als auch solche, die dagegen wirken. Der Nettoeffekt hängt davon ab, welcher Einfluss überwiegt.
Diese Ergebnisse belegen empirisch, dass die Verarbeitung demografischer Verzerrungen und die kognitiven Fähigkeiten des Modells auf separaten Schaltkreisen operieren. Damit entstehen methodische Grundlagen für die Transition von blindem Neuronenlöschen zu gerichteter Verhaltensmodulation – ein Weg hin zu präzisereren Bias-Mitigationsstrategien ohne Capability-Verlust.
Quelle: arxiv.org · Erschienen 29. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.