Auf den Punkt: Ein systematisches Audit von 3.249 System-Prompt-Anweisungen in 88 KI-Produkten zeigt, dass rund 40 Prozent mindestens eine nutzerschädigende Instruktion enthalten und nur 24 Prozent alle acht geprüften Schutzdimensionen abdecken.
Ein Forschungsteam hat 3.249 Anweisungen aus System Prompts von 88 kommerziellen KI-Produkten systematisch ausgewertet. Das Ergebnis: Nutzerschutz variiert stark zwischen Anbietern, und rund 40 Prozent der Produkte enthalten mindestens eine Anweisung, die gegen Nutzerinteressen wirkt.
System Prompts sind Anweisungen, mit denen Entwickler das Verhalten von Foundation Models in KI-Anwendungen steuern. Sie kommen in praktisch allen kommerziellen KI-Produkten zum Einsatz, werden der Öffentlichkeit und Regulierungsbehörden jedoch selten offengelegt. Die Studie stellt hierfür das Framework Artificial Intelligence System Prompt Assurance (AISPA) vor, das Anweisungen in System Prompts entlang acht nutzerrelevanter Dimensionen bewertet und als „protective“ (nutzerschützend) oder „problematic“ (nutzerschädigend) klassifiziert.
Die Analyse der 3.249 Instruktionen aus 88 Produkten zeigt vier zentrale Befunde. Erstens variiert die Prompt-Gestaltung erheblich zwischen Organisationen: Manche Anbieter integrieren im Schnitt über 60 schützende Anweisungen pro Produkt, andere weniger als 5. Zweitens sind schützende Anweisungen zwar weit verbreitet – 98,9 Prozent der Produkte enthalten mindestens eine –, aber inhaltlich oft nicht umfassend: Nur 24 Prozent der Produkte decken alle acht AISPA-Dimensionen ab. Drittens sind System Prompts über die Zeit länger und nutzerschützender geworden, was auf ein wachsendes Bewusstsein für Nutzerschutz im kommerziellen Prompt-Design hindeutet. Viertens bleiben problematische Anweisungen dennoch verbreitet: Rund 40 Prozent der untersuchten Produkte weisen mindestens eine Anweisung auf, die gegen Nutzerinteressen gerichtet ist, wobei schützende und problematische Instruktionen häufig im selben Prompt koexistieren.
Für Compliance-Verantwortliche in Unternehmen, die KI-Produkte einsetzen oder anbieten, liefert die Studie eine erste systematische Grundlage zur Bewertung von System-Prompt-Praktiken – einem Bereich, der bislang kaum standardisiert oder auditierbar war. Die uneinheitliche Abdeckung der acht Dimensionen zeigt, dass eine bloße Selbstauskunft von Anbietern über „verantwortungsvolle“ Prompt-Gestaltung nicht ausreicht, um tatsächliche Schutzwirkung zu belegen. Die Autoren fordern deshalb mehr Transparenz, Standardisierung und unabhängige Aufsicht bei System Prompts kommerzieller KI-Produkte – ein Punkt, der im Kontext der EU-KI-Verordnung und ähnlicher Transparenzpflichten an Bedeutung gewinnen dürfte.
Quelle: arxiv.org · Erschienen 29. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.