Auf den Punkt: Das agentenbasierte Red-Teaming-System PIMiner erreicht ohne Nachtraining Erfolgsraten von bis zu 86,7 Prozent gegen aktuelle LLMs wie Gemini-2.5-Pro, GPT-5.1 und Claude-Sonnet-4.5 auf Standard-Benchmarks für Prompt-Injection.
Forscher stellen mit PIMiner ein agentenbasiertes System zum automatisierten Red-Teaming von Prompt-Injection-Angriffen vor, das ohne erneutes Training auf neue Ziel-LLMs übertragbar ist. In Tests erzielt es gegen aktuelle Modelle wie Gemini-2.5-Pro, GPT-5.1 und Claude-Sonnet-4.5 Erfolgsraten von bis zu 86,7 Prozent.
PIMiner ist ein agentenbasiertes System für das Red-Teaming von Prompt-Injection-Angriffen gegen LLM-Agenten. Im Unterschied zu bestehenden State-of-the-Art-Methoden, die auf Reinforcement Learning setzen und dabei Angreifer-Modelle produzieren, die sich schlecht auf neue Zielmodelle übertragen lassen, baut PIMiner während des Trainings anhand einer Sequenz von Datensatz-Zielmodell-Paaren eine Strategiebibliothek von Grund auf auf. Zur Testzeit lässt sich diese Bibliothek direkt auf ein zuvor unbekanntes Ziel-LLM übertragen, ohne dass zusätzliches Training nötig ist. Pro Testfall benötigt das System nur wenige Anfragen an den Ziel-Agenten, laut den Autoren etwa zehn.
Die gemessenen Erfolgsraten (Attack Success Rate, ASR) sind für Sicherheitsverantwortliche relevant, weil sie zeigen, dass aktuelle produktionsnahe Modelle gegenüber Prompt-Injection-Angriffen nicht ausreichend gehärtet sind. Auf dem Benchmark IPIArena erreicht PIMiner 76,2 Prozent ASR gegen Gemini-2.5-Pro, 61,9 Prozent gegen GPT-5.1 und 42,9 Prozent gegen Claude-Sonnet-4.5. Auf AgentDojo liegen die Werte bei 86,7 Prozent gegen Gemini-2.5-Pro, 53,3 Prozent gegen GPT-5.1 und 40,0 Prozent gegen Claude-Sonnet-4.5. Diese Zahlen verdeutlichen zudem Unterschiede in der Robustheit einzelner Modelle gegenüber Injection-Angriffen, wobei Claude-Sonnet-4.5 in beiden Benchmarks die niedrigsten Erfolgsraten für den Angreifer aufweist.
Für CISOs, die LLM-Agenten in Produktionsumgebungen einsetzen oder deren Einsatz planen, liefert die Arbeit ein konkretes Werkzeug zur eigenen Risikobewertung: Eine transferierbare Strategiebibliothek erlaubt es, Agenten-Deployments mit vergleichsweise geringem Aufwand gegen Prompt-Injection zu testen, bevor sie produktiv geschaltet werden. Gleichzeitig liefern die erzeugten Angriffsdaten Trainingsmaterial, um Abwehrmechanismen zu verbessern. Wer LLM-Agenten mit Zugriff auf externe Tools, Dateien oder APIs betreibt, sollte die beschriebene Methodik als Ausgangspunkt für eigene Red-Teaming-Prozesse in Betracht ziehen, da die Autoren die geringe Anzahl benötigter Anfragen pro Testfall als praktikabel für den wiederholten Einsatz gegen wechselnde Zielmodelle hervorheben.
Quelle: arxiv.org · Erschienen 4. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.