Auf den Punkt: KI-Modelle wie ChatGPT-5.5 und Claude Opus 4.8 lieferten bei komplexen CVE-Patches laut 1Password-Studie in 53,9 Prozent der Fälle fehlerhafte Fixes, weshalb menschliche Sicherheitsprüfung unverzichtbar bleibt.
Eine interne Untersuchung von 1Password zeigt, dass von KI-Modellen erzeugte Patches für komplexe, aktuelle CVEs in 53,9 Prozent der Fälle fehlerhaft bleiben, obwohl der Code syntaktisch korrekt ist. Für CISOs bedeutet das: Menschliche Prüfung bleibt bei sicherheitskritischem Code unverzichtbar.
Forscher von 1Password haben untersucht, wie zuverlässig große Sprachmodelle (LLMs) Patches für kürzlich veröffentlichte, komplexe Schwachstellen erzeugen. Getestet wurden sechs aktuelle CVEs, darunter CVE-2026-31431 („Copy Fail“), CVE-2026-34197 (ActiveMQ RCE), CVE-2026-8512, CVE-2026-45185 (EXIM RCE), CVE-2026-22738 (SpringAI SpEL RCE) sowie die Gemini-CLI-Schwachstelle GHSA-wpqr-6v78-jr5g. Insgesamt wurden 6.080 Patches ausgewertet, generiert von ChatGPT-5.5 und Claude Opus 4.8. Laut 1Password-Forscher Keith Hoodlet produzierten die Modelle in 53,9 Prozent der Fälle „Fix-Like Artifacts with Embedded Defects“ (FLAWED) – Patches, die wie eine Lösung aussehen, aber Mängel enthalten.
Nur 26 Prozent der Patches beseitigten die Schwachstelle vollständig, ohne das Anwendungsverhalten zu verändern. 20,1 Prozent lösten das Problem zwar, veränderten dabei aber das Verhalten der Anwendung. 49,3 Prozent ließen mindestens einen ausnutzbaren Angriffspfad offen, 2,3 Prozent behoben die ursprüngliche Schwachstelle, führten dabei aber eine neue ein, und 2,2 Prozent scheiterten sowohl an der Behebung als auch an der Vermeidung neuer Schwachstellen. 1Password bewertete dabei nicht nur, ob der Code kompilierte oder automatisierte Tests bestand, sondern prüfte jeden Fix manuell auf vollständige Beseitigung der Schwachstelle, Verhaltensstabilität und das Fehlen neuer Risiken.
Besonders aufschlussreich: Mehr als ein Drittel der zunächst als erfolgreich eingestuften Patches erwies sich als „fragil“. Sie blockierten lediglich den konkreten Proof-of-Concept-Exploit, der im Test verwendet wurde, ohne die eigentliche Ursache zu beheben. Am Beispiel der SpringAI-CVE zeigte sich, dass sowohl GPT- als auch Claude-Modelle Patches erzeugten, die gezielt einzelne Zeichen aus der im PoC verwendeten Eingabezeichenkette abfingen. Wird der betroffene Code über andere Eingaben wieder erreichbar, lebt die ursprüngliche Schwachstelle laut Hoodlet erneut auf.
Auch Anthropic wurde zu den Ergebnissen befragt und empfahl, Menschen im Prüfprozess zu belassen: Die Patch-Erzeugung habe die Patch-Verifikation überholt, weshalb Verifikation stärker auf tatsächlicher Ausführung statt auf reiner Code-Inspektion beruhen müsse – mit Fachexperten als letzter Prüfinstanz beim aktuellen Stand der Modellfähigkeiten. 1Password stellt zudem die Annahme infrage, KI-generierte Patches seien praktisch kostenlos: Ein Patch-und-Validierungszyklus kostete im Schnitt rund 2,11 US-Dollar mit ChatGPT-5.5 und 2,81 US-Dollar mit Claude Opus 4.8 – die eigentlichen Kosten entstehen laut Hoodlet erst bei der Prüfung, ob ein Patch produktionsreif und sicher ist.
Für Sicherheitsverantwortliche folgt daraus, dass automatisiertes Patch-Management bei komplexen, sicherheitsrelevanten Schwachstellen ohne unabhängige, execution-basierte Verifikation und menschliche Freigabe ein erhebliches Restrisiko birgt, insbesondere wenn Tests nur gegen bekannte PoCs statt gegen die Grundursache geprüft werden.
Quelle: www.csoonline.com · Erschienen 7. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.