Auf den Punkt: Eine spezialisierte Benchmark mit 235 Aufgaben zeigt, dass etablierte Benchmarks erhebliche Schwachstellen moderner KI-Modelle systematisch überschätzen oder ignorieren.
Forscher haben eine Benchmark mit 235 Aufgaben entwickelt, die Schwachstellen in modernen KI-Modellen offenlegen – etwa das Zeichnen eines Hundes mit genau vier Beinen oder das Manipulieren von Strings. Die Tests zeigen, dass etablierte Benchmarks diese Defizite systematisch verschleiern.
Die Blind-Spots-Bench wurde aus Fragen von Studierenden eines AI-Kurses zusammengestellt, bereinigt und mit strukturierten Referenzlösungen annotiert. Die Tasks umfassen eine Taxonomie von Aufgabentypen, die für Menschen trivial wirken, für aktuelle KI-Systeme aber persistent schwierig bleiben – von textuellen Manipulationen über visuelles Verständnis bis zu Bildgenerierung.
Für die Evaluierung entwickelten die Autoren eine automatisierte Bewertungs-Pipeline, die eine breite Palette von Modellen testet: Open-Weight-Varianten, geschlossene Frontier-Modelle sowie Language, Vision-Language und Image-Generation-Systeme. Die Ergebnisse offenbaren erhebliche Performanzunterschiede: Proprietäre Frontier-Modelle erreichten teilweise etwa 10 Prozentpunkte höhere Quoten als vergleichbare Open-Weight-Alternativen, obwohl diese auf etablierten Benchmarks ähnliche Werte zeigen.
Die feiner aufgelöste Analyse zeigt, dass kein einzelnes Modell konsistent über alle Task-Typen hinweg dominiert. Einige Aufgaben bleiben für alle evaluierten Systeme herausfordernd. Die Benchmark funktioniert als gezielter Stresstest zur Diagnose konkreter Schwächen – jenseits der Leistungsmetriken, die kommerzielle Benchmarks regelmäßig absorbiert oder optimiert bekommen.
Quelle: arxiv.org · Erschienen 8. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.