Auf den Punkt: 1Password fand heraus, dass KI-generierte Patches für komplexe, aktuelle Schwachstellen in 53,9 Prozent der Fälle fehlerhaft bleiben und menschliche Sicherheitsreviews weiterhin unverzichtbar sind.
Eine interne Auswertung von 1Password zeigt, dass von führenden KI-Modellen erzeugte Vulnerability-Patches bei komplexen, aktuell offengelegten Schwachstellen in 53,9 Prozent der Fälle fehlerhaft sind. Für CISOs bedeutet das: Automatisiertes Patchen ersetzt menschliche Sicherheitsreviews weiterhin nicht.
1Password-Forscher Keith Hoodlet hat in einem Blogbeitrag Ergebnisse einer Evaluation vorgestellt, bei der insgesamt 6.080 Patches untersucht wurden, die von den KI-Coding-Modellen ChatGPT-5.5 und Claude Opus 4.8 für sechs kürzlich offengelegte CVEs generiert wurden. Zu den getesteten Schwachstellen gehören CVE-2026-31431 („Copy Fail“), CVE-2026-34197 (ActiveMQ RCE), CVE-2026-8512, CVE-2026-45185 (Exim RCE), CVE-2026-22738 (SpringAI SpEL RCE) sowie eine RCE-Lücke in der Gemini CLI (GHSA-wpqr-6v78-jr5g). Das Team prüfte dabei nicht nur, ob der generierte Code kompiliert oder automatisierte Tests besteht, sondern bewertete jede Korrektur danach, ob die Schwachstelle vollständig beseitigt, das Anwendungsverhalten erhalten und keine neue Sicherheitslücke eingeführt wurde.
Nach dieser strengeren Bewertung lösten nur 26 Prozent der Patches die Schwachstelle vollständig, ohne das Anwendungsverhalten zu verändern. 20,1 Prozent behoben die Lücke zwar, veränderten dabei aber das Verhalten der Anwendung. Bei 49,3 Prozent blieb mindestens ein ausnutzbarer Angriffspfad bestehen, 2,3 Prozent schlossen die ursprüngliche Lücke, führten aber eine neue ein, und 2,2 Prozent scheiterten sowohl an der Behebung als auch an der Vermeidung neuer Schwachstellen. In Summe wiesen 53,9 Prozent der Patches bei komplexen Fällen das ein, was Hoodlet als „Fix-Like Artifacts with Embedded Defects“ (FLAWED) bezeichnet – syntaktisch korrekte, aber inhaltlich unzureichende Korrekturen.
Besonders relevant für Sicherheitsverantwortliche ist der Befund zur Fragilität scheinbar erfolgreicher Patches: Mehr als ein Drittel der zunächst als erfolgreich eingestuften Fixes blockierte lediglich den konkreten Proof-of-Concept-Exploit, ohne die zugrunde liegende Ursache zu adressieren. Am Beispiel der SpringAI-CVE zeigte sich, dass sowohl GPT- als auch Claude-Modelle Patches erzeugten, die gezielt einzelne Zeichen aus der im PoC verwendeten Eingabezeichenfolge abfingen, während der eigentliche fehlerhafte Codepfad unverändert blieb. Wird dieser Pfad über alternative Eingaben wieder erreichbar, lebt die ursprüngliche Schwachstelle laut Hoodlet erneut auf.
1Password führt diese Defizite auf die kontextuelle Reasoning-Tiefe zurück, die für produktionsreife Sicherheitsfixes erforderlich ist – etwa das Verständnis architektonischer Absichten, geschäftlicher Anforderungen und langfristiger Wartbarkeit. Auf Anfrage empfahl auch Anthropic, Menschen im Prüfprozess zu belassen: Die Patch-Generierung habe die Patch-Verifikation überholt; die Lösung liege darin, Verifikation stärker ausführungsbasiert statt inspektionsbasiert zu gestalten und Fachexperten beim aktuellen Stand der Modellfähigkeiten als letzte Prüfinstanz einzusetzen.
Für CISOs relevant ist zudem die Kostenbetrachtung: Ein Patch-und-Validierungszyklus kostete im Schnitt rund 2,11 US-Dollar mit ChatGPT-5.5 und 2,81 US-Dollar mit Claude Opus 4.8 – auf den ersten Blick vernachlässigbar. Hoodlet betont jedoch, dass die eigentlichen Kosten in der Validierung liegen, ob ein Patch tatsächlich produktionstauglich sicher ist. Wer automatisiertes Patching in CI/CD-Pipelines oder Schwachstellenmanagement-Prozesse integriert, sollte entsprechend verpflichtende menschliche Review-Gates für sicherheitskritischen Code vorsehen und sich nicht allein auf das Bestehen automatisierter Tests verlassen.
Quelle: www.csoonline.com · Erschienen 7. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.