Auf den Punkt: Eine kontrollierte Studie mit vier Netzwerktelemetrie-Quellen und mehreren LLMs zeigt, dass hochwertige, protokollreiche Sicherheitsdaten wie Corelight-Logs Kern-Ermittlungsmetriken um das Zwei- bis Vierfache verbessern – unabhängig vom eingesetzten Sprachmodell.
Eine kontrollierte Studie zeigt: Nicht das eingesetzte LLM, sondern die Qualität der zugrunde liegenden Netzwerktelemetrie bestimmt maßgeblich den Erfolg KI-gestützter Security-Operations-Workflows. Hochwertige Netzwerkevidenz verbessert zentrale Ermittlungsmetriken laut den Ergebnissen um das Zwei- bis Vierfache.
Während KI zunehmend Aufgaben in Security Operations Centern (SOC) übernimmt – etwa Threat Triage, die Extraktion von Indicators of Compromise oder die Erstellung von Incident-Reports –, stellt sich Sicherheitsverantwortlichen eine grundlegende Frage: Hängt die Leistung des SOC stärker vom eingesetzten Large Language Model (LLM) ab oder von der Qualität der Sicherheitsdaten, die es verarbeitet? Akademische Studien liefern hierzu widersprüchliche Antworten. Ein Artikel in Frontiers in Artificial Intelligence betont Unterschiede in Genauigkeit, Relevanz und Klarheit zwischen Modellen wie Claude 3.5 Sonnet, Gemini, ChatGPT 4o und Mistral Large 2. Eine Publikation im Journal Information Systems argumentiert dagegen, dass vertrauenswürdige KI-Anwendungen hochwertige Trainings- und Testdaten entlang mehrerer Qualitätsdimensionen wie Genauigkeit, Vollständigkeit und Konsistenz benötigen.
Das Forschungsprojekt „Provably Better Data“ hat diese Frage in einem kontrollierten Testrahmen untersucht. Dabei wurden zwei operative Benchmarks verwendet: ein Capture-the-Flag-Szenario mit 44 Fragen zu einer Volt-Typhoon-Angriffskampagne sowie eine Aufgabe zur Incident-Response-Berichterstellung auf Basis eines Salt-Typhoon-Datensatzes. Um Datenqualität als isolierte Variable zu testen, verarbeitete der Testaufbau vier unterschiedliche Netzwerktelemetrie-Quellen unter identischen Bedingungen: angereicherte Corelight-Logs, Open-Source-nDPI-Firewall-Logs, Snort-3-IDS-Alerts sowie NetFlow-Verbindungstelemetrie. Jeder Datensatz wurde mehrfach über ein nach OCSF (Open Cybersecurity Schema Framework) normalisiertes Schema ausgeführt. Als Modelle kamen Anthropic Claude Opus 4.6, Google Gemini Pro 3.1 Preview sowie ältere Modelle beider Anbieter zum Einsatz, jeweils mit identischen Prompts über alle Testläufe hinweg. Bewertet wurden die Genauigkeit bei den CTF-Fragen sowie der Anteil an Incident-Response-Aussagen, die durch verfügbare Evidenz belegt waren.
Die Ergebnisse zeigen eine Evidenz-Obergrenze in automatisierten Workflows: Frontier-Modelle verfügen über fortgeschrittene Reasoning-Fähigkeiten, doch die Qualität ihrer Schlussfolgerungen bleibt durch die verfügbaren Daten begrenzt. Fehlt der Telemetrie ein detaillierter Kontext auf Protokollebene, können KI-Agenten nichts ableiten, was nie erfasst wurde. Ein konkretes Beispiel aus dem CTF-Test verdeutlicht dies: Bei der Frage nach dem NetBIOS-Computernamen für die IP-Adresse 10.110.154.113 lieferten die Corelight-Logs die korrekte Antwort „FINANCE01″ – zu finden im Feld server_nb_computer_name im NTLM-Log, da Zeek die NTLM-Type-2-Challenge-Nachricht geparst und den Computernamen des Servers extrahiert hatte. Die Firewall-Logs erkannten zwar NTLM-Protokollaktivität, konnten die einzelnen Felder innerhalb der NTLM-Challenge jedoch nicht parsen und blieben daher ohne korrekte Antwort.
Für CISOs ergeben sich daraus direkte operative Konsequenzen: Konkrete, angereicherte Telemetrie reduziert die mittlere Reaktionszeit (MTTR), begrenzt den Token-Verbrauch von LLM-gestützten Workflows und damit die Kosten, und erhöht den nachweisbaren Return on Investment von Sicherheitsmaßnahmen. Die Studienergebnisse liefern damit eine Argumentationsgrundlage, um Investitionen in hochwertige Telemetrie-Infrastruktur gegenüber Geschäftsführung und Vorstand zu rechtfertigen, die durch Alert-Fatigue bedingte Analysten-Fluktuation zu senken und belastbare Sicherheitskennzahlen vorzulegen. Bei der Architekturplanung für SOC-Umgebungen sollte die Wahl und Anreicherung der Datenquellen damit mindestens ebenso viel Gewicht erhalten wie die Auswahl des eingesetzten Sprachmodells.
Quelle: www.csoonline.com · Erschienen 17. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.