Auf den Punkt: KI-Agenten sind deutlich gefährlicher als Chatbots, weil sie selbstständig handeln; neue Erkennungsmethoden wie Finch-Zk und LettuceDetect zeigen Verbesserungen, können Halluzinationen aber nicht vollständig verhindern.
Autonome KI-Agenten führen Shell-Befehle aus und rufen APIs auf – und mit dieser Eigenständigkeit entstehen neue Risiken durch Halluzinationen. Mehrere technische Frameworks ermöglichen es Unternehmen, solche Fehler zu erkennen und zu begrenzen.
Die Fähigkeiten moderner KI-Systeme haben sich grundlegend erweitert: Während klassische Large Language Models nur Text generieren, können KI-Agenten direkt mit IT-Infrastruktur interagieren – sie führen Shell-Befehle aus, manipulieren Dateisysteme, versenden E-Mails und starten API-Aufrufe. Diese Autonomie macht sie wertvoll für unternehmensweite Workflows, schafft aber auch neue Angriffsflächen. Eine Gartner-Umfrage von September 2025 zeigt, dass 74 Prozent der IT-Entscheider KI-Agenten als kritische Sicherheitslücke sehen. Nur 19 Prozent vertrauen ihren Anbietern, ausreichenden Schutz gegen KI-Halluzinationen zu bieten.
Mehrere Forschungsteams arbeiten an Erkennungsmechanismen für solche Fehler. Finch-Zk, ein Framework von AWS-Forschenden, nutzt Cross-Model-Konsistenz: Mehrere Modelle erhalten semantisch äquivalente Prompts, ihre Antworten werden auf feingranulare Ungenauigkeiten hin verglichen. Nach Tests auf dem FELM-Datensatz verbesserte dieser Ansatz den F1-Score zur Halluzinationserkennung um 6 bis 39 Prozent gegenüber bisherigen Methoden. Bei der Fehlerkorrektur stieg die Antwortgenauigkeit um durchschnittlich 7 bis 8 Prozentpunkte, bei Modellen wie Llama 4 Maverick sogar um 12,6 Prozentpunkte. LettuceDetect ist eine spezialisierte Lösung für Retrieval-Augmented-Generation-Systeme (RAG), erreicht einen F1-Score von 79,22 Prozent und nutzt ModernBERT zur Verarbeitung langer Kontexte bis zu 8.192 Token. RefChecker von Amazon Science extrahiert Claim-Triplets aus KI-Antworten und prüft sie gegen Referenzen, was Verbesserungen von 6,8 bis 26,1 Punkten auf eigenem Benchmark ermöglichte.
Dennoch sind diese Systeme keine vollständigen Lösungen. Das Vectara-Hallucination-Leaderboard belegt, dass selbst GPT-4 in etwa 3 Prozent der Fälle bei Zusammenfassungsaufgaben halluziniert. Bei etwa 2,5 bis 3 Milliarden täglichen ChatGPT-Anfragen (Stand 2025/2026) könnten dies rechnerisch mehrere Dutzend Millionen fehlerhafte Antworten bedeuten. Unternehmen benötigen daher neben automatisierter Erkennung auch Kontrollebenen: Kritische Agenten-Aktionen sollten überwacht, validiert und im Fall von Unsicherheiten eskaliert werden.
Quelle: www.it-daily.net · Erschienen 20. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.