Auf den Punkt: Aktuelle Frontier-Modelle erreichen auf dem neuen ITBench-AA-Benchmark zur Bewertung agentischer IT-Fähigkeiten nicht einmal 50 Prozent Erfolgsquote, was einen erheblichen Gap zwischen Modellfähigkeiten und Produktionsreife bei autonomen IT-Aufgaben aufzeigt.
IBM und Artificial Analysis haben mit ITBench-AA ein Benchmark entwickelt, das erstmals agentische KI-Modelle auf ihre Fähigkeit hin bewertet, komplexe IT-Aufgaben im Unternehmensumfeld eigenständig zu lösen. Aktuelle Frontier-Modelle schneiden dabei mit Werten unter 50 Prozent deutlich schlechter ab als erhofft.
ITBench-AA ist ein Evaluierungs-Framework, das speziell für die Messung von agentischen Fähigkeiten in Enterprise-IT-Szenarien konzipiert wurde. Das Benchmark umfasst realistische Aufgaben aus Systemadministration, Netzwerkverwaltung, Sicherheitskonfiguration und ähnlichen Domänen, bei denen Modelle eigenständig entscheiden, planen und Aktionen ausführen müssen — nicht nur Code generieren, sondern diesen auch validieren und iterativ verbessern.
Die Evaluierung zeigt, dass auch leistungsstarke Frontier-Modelle wie Claude, GPT-4 und Gemini bei diesen praktischen IT-Szenarien unter 50 Prozent Erfolgsquote liegen. Das deutet darauf hin, dass die Fähigkeit zur Code-Generierung allein nicht ausreichend ist für robuste agentenbasierte Lösungen. Kritische Schwachstellen sind fehlerhafte Fehlerbehandlung, mangelnde Kontextverwaltung über mehrere Schritte hinweg und unzureichende Validierung von Systemzustandsänderungen.
Für CTOs ist dies ein wichtiges Signal: Während KI-gesteuerte IT-Automation und Self-Service-Portale vielversprechend sind, sollten Produktionsdeployments von agentischen Systemen noch nicht vollständig auf autonome Entscheidungsfindung setzen. Stattdessen empfiehlt sich ein hybrider Ansatz, bei dem Modelle Aufgaben strukturieren und vorschlagen, aber Menschen Freigaben erteilen und kritische Systeme überwachen. Die Benchmark-Ergebnisse bilden eine Grundlage, um Modellfortschritt in dieser Domäne künftig zu messen und zu vergleichen.
Quelle: huggingface.co · Erschienen 27. Mai 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.2.6.