Auf den Punkt: Claude Opus 4.8 und Sonnet 5 erfinden bei der Nutzung von Bearbeitungs-Tools häufiger nicht-existente Parameter, was Drittanbieter-Entwicklungsumgebungen wie Pi zum Fehlschlag bringt.
Neuere Anthropic-Modelle wie Claude Opus 4.8 und Sonnet 5 übergeben Code-Bearbeitungs-Tools verstärkt fehlerhafte Parameter, obwohl die älteren Modellvarianten dies nicht tun. Das Problem scheint darauf zurückzuführen zu sein, dass die neueren Modelle spezifisch für Claudes eigenes Edit-Tool trainiert wurden.
Ein Entwickler namens Armin beobachtete, dass Claude Opus 4.8 beim Umgang mit Pis Edit-Tool regelmäßig erfundene Felder in das nested edits[]-Array einträgt. Die eigentliche Bearbeitung ist zwar meist korrekt, doch die zusätzlichen, nicht im Schema definierten Parameter führen dazu, dass Pi den Tool-Aufruf ablehnt und das Modell erneut versuchen muss.
Oberflächlich betrachtet ist ein vereinzelter fehlerhafter Tool-Call keine Überraschung – Modelle erzeugen gelegentlich malformed Calls. Auffällig ist jedoch der Trend: Opus 4.8 und Sonnet 5, die neuesten State-of-the-Art-Modelle der Anthropic-Familie, zeigen dieses Verhalten, während ältere Modellvarianten es nicht aufweisen. Mit steigender Modellqualität scheint also ausgerechnet die Fähigkeit, spezifische Tool-Schemas korrekt zu implementieren, zu sinken.
Armin vermutet, dass Anthropic die neueren Modelle durch Reinforcement Learning spezifisch dafür trainiert hat, Claude Codes integriertes Edit-Tool (das auf Such-und-Ersetzen basiert) besser zu nutzen. Dies hätte den Nebeneffekt, dass alternative Code-Harnesses mit eigenen, abweichend strukturierten Edit-Tools stärker fehlerhaft bedient werden – ähnlich wie OpenAI seine Modelle auf das apply_patch-Mechanismus-Tool trainiert hat und diese dadurch bei anderen Patch-Systemen schlechter funktionieren.
Die Frage stellt sich damit für Drittanbieter wie Pi: Sollten sie mehrere Varianten von Bearbeitungs-Tools bereitstellen, um je nach ausgewähltem Claude-Modell das Tool zu nutzen, bei dem die Fehlerrate am niedrigsten ist?
Quelle: simonwillison.net · Erschienen 5. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.