Auf den Punkt: Ein strukturiertes Evaluierungsprotokoll mit mehreren komplexen Test-Umgebungen und LLM-gestützter Schwachstellenerkennung ermöglicht realistischere Bewertung von KI-Pentesting-Agenten jenseits klassischer Benchmark-Szenarien.
Forscher haben ein neues Evaluierungsprotokoll für KI-basierte Pentesting-Systeme vorgelegt, das deren Leistung in komplexen, realen Angriffsszenarien misst statt in vereinfachten Benchmark-Umgebungen. Das Protokoll ermöglicht erstmals einen operativ relevanten Vergleich verschiedener KI-Pentesting-Agenten.
Bisherige Evaluierungen von KI-Pentesting-Agenten konzentrieren sich auf definierte Zielkategorien wie Capture-the-Flag, Remote Code Execution oder Exploit-Reproduktion. Diese vereinfachten oder eng definierten Testszenarien zeigen zwar begrenzte technische Fähigkeiten, erfassen aber nicht die Komplexität echter Penetrationstests: offene Exploration, mehrere Angriffsflächen, diverse Schwachstellenklassen und strategische Entscheidungsfindung unter Unsicherheit.
Die neue Evaluierungsmethode verschiebt den Fokus von reiner Task-Erfüllung zu validierter Schwachstellenerkennung. Das Protokoll integriert strukturierte Ground-Truth-Daten (von Experten annotierten Referenzinformationen), LLM-basierte semantische Matching-Verfahren zur Schwachstellenidentifikation, Bipartite-Matching zur Bewertung unter realistischen Mehrdeutigkeiten, kontinuierliche Pflege der Ground Truth sowie wiederholte und kumulative Evaluierung stochastischer Agenten. Ergänzend werden Effizienzmetriken und optimierte Test-Suites bereitgestellt, um nachhaltige Experimente zu ermöglichen.
Für CISOs bedeutet das protokoll eine bessere Grundlage, um KI-Pentesting-Lösungen vor dem Produktiveinsatz zu bewerten. Statt auf Marketing-Versprechen zu verlassen, können Security-Teams nun anhand realistischer Komplexität entscheiden, welcher Agent für ihre spezifische Infrastruktur geeignet ist. Dies reduziert das Risiko, agentische Systeme einzusetzen, deren tatsächliche Leistung unter realen Bedingungen unbekannt ist.
Die Forscher haben das Evaluierungsprotokoll, Referenz-Ground-Truth-Daten und Code unter https://github.com/ethiack/ethibench zur Verfügung gestellt, um Reproduzierbarkeit und weitere Forschung zu ermöglichen.
Quelle: arxiv.org · Erschienen 13. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.