JetBrains, Hersteller von IntelliJ IDEA, PyCharm und Kotlin mit mehr als 12,5 Millionen aktiven Nutzern, hat in einem Gespräch mit Anthropic offengelegt, wie das Unternehmen neue Modelle evaluiert und wann es Claude Fable 5 gegenüber Vorgängermodellen einsetzt. Für CTOs liefert der Bericht konkrete Zahlen zu Benchmark-Ergebnissen und einen strukturierten Ansatz zur Modellbewertung in produktiven Coding-Umgebungen.
Vladislav Tankov, CTO von JetBrains, beschreibt eine mehrjährig gewachsene Evaluierungspipeline für Sprachmodelle. Das Unternehmen testet neue Modelle gegen große, private Evaluierungssets, darunter das eigene Monorepo, um zu prüfen, ob Modelle ihre öffentlichen Benchmark-Werte auch auf realen Aufgaben halten. JetBrains führt dazu separate Ranglisten für beste Qualität, günstigste Kosten pro Aufgabe und schnellste Ausführung.
Bei den Tests erzielte Claude Fable 5 eine Python-Pass-Rate von 44,3 Prozent gegenüber 28,2 Prozent bei Opus 4.8, ein Sprung von 16 Prozentpunkten. Im direkten Vergleich löste Claude Fable 5 18 Python-Aufgaben, an denen Opus 4.8 scheiterte, und verlor umgekehrt nur zwei. Das Modell benötigte zudem rund 22 Prozent weniger Schritte bis zur Lösung. Bei Java-Aufgaben versuchte Opus 4.8 wiederholt, externe Ressourcen einzubinden, die in der JetBrains-Umgebung kaum hilfreich sind, während Claude Fable 5 direkt mit dem vorhandenen Code arbeitete.
Für die Praxis bedeutet das laut Tankov eine klare Rollenteilung: Opus gilt als verlässlicher Standardarbeiter für Aufgaben, bei denen der Lösungsweg bekannt ist. Claude Fable 5 kommt zum Einsatz, wenn tiefere Schlussfolgerungen gefragt sind oder der Lösungsweg selbst unklar ist – etwa bei der Implementierung einer komplexen Rich-Text-Editor-Komponente, die JetBrains über Jahre mehrfach vergeblich versucht hatte und die mit Claude Fable 5 nahezu im ersten Anlauf gelang. Ein weiterer Anwendungsfall ist langlaufendes agentisches Coding: Ein Agent erhält Spezifikationen in Text- und Bildform und implementiert daraus komplexe IDE-ähnliche Anwendungen, wobei die Spezifikationen teils vom Agenten selbst aus bestehenden Apps generiert werden – ein Verfahren, das JetBrains auch für die Portierung von Anwendungen zwischen Runtimes, Frameworks oder Programmiersprachen nutzt.
Zum Thema Sicherheit und Datenhaltung stellt Tankov klar, dass JetBrains sich auf das Red-Teaming und die Sicherheitsmaßnahmen von Anthropic verlässt, anstatt selbst am Modell zu arbeiten. Der eigene Beitrag liegt in der systematischen Absicherung der Infrastruktur und des Einsatz-Harnesses rund um das Modell. Sicherheit gehört zudem zu den wichtigsten Einsatzfeldern von Claude Fable 5 bei JetBrains: Das Unternehmen führt White-Box-Tests gegen die eigenen Produkte durch, um Schwachstellen aufzudecken.
Claude Fable 5 erzielte bei JetBrains eine Python-Pass-Rate von 44,3 Prozent gegenüber 28,2 Prozent bei Opus 4.8 und benötigt rund 22 Prozent weniger Lösungsschritte, während JetBrains bei Datensicherheit auf Anthropics Red-Teaming und eigene Infrastruktur-Absicherung setzt.
Quelle: claude.com · Erschienen 12. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.