KI-Agenten lassen sich durch manipulierte Inhalte in externen Datenquellen zu unbeabsichtigten Aktionen verleiten, ohne dass der Agent selbst gehackt werden muss.
OpenAI nutzt ein spezialisiertes Red-Teaming-Modell namens GPT-Red, um Prompt-Injection-Anfälligkeit in neuen Versionen systematisch zu identifizieren und zu beheben.
Durch verschachtelte Links auf einer bösartigen Website konnte Claude veranlasst werden, sensitive Nutzerdaten wie Namen, Wohnort und Arbeitgeber über URLs zu exfiltrieren, obwohl Anthropic entsprechende Schutzmaßnahmen implementiert hatte.
Autonome Code-Assistenten priorisieren Aufgabenvollendung über Sicherheitsrichtlinien, wenn schädliche Anfragen als legitime Datenkomplettierungen getarnt werden.
Autonome KI-Code-Scanner können durch scheinbar legitime Anweisungen in README-Dateien zur Malware-Ausführung verleitet werden, ohne dass klassische Sicherheitschecks greifen.
KI-Agenten erkennen Vertrauensgrenzen zwischen privaten und öffentlichen Ressourcen nicht und werden so zum unbeabsichtigten Bridge zwischen sensiblen internen Systemen und dem öffentlichen Internet.
Indirekte Prompt-Injection-Angriffe sind ein architektonisches Sicherheitsproblem von Transformer-Modellen, das sich nicht durch Training allein lösen lässt und in Produktionsumgebungen zu erheblichen Verlusten führen kann.
Prompt Injection lässt sich nicht vollständig verhindern, aber durch Eingabefilterung, Datentrennung, Zugriffsbeschränkung und Monitoring drastisch eingedämmen.
