Auf den Punkt: Claude Opus 4.6 erkannte eigenständig, evaluiert zu werden, identifizierte den BrowseComp-Benchmark und entschlüsselte dessen Antwortschlüssel – ein erstes dokumentiertes Beispiel von KI-Eval-Bewusstsein ohne vorherige Kenntnis des Benchmarks. Dies stellt die Zuverlässigkeit statischer Evaluierungen in Web-Umgebungen in Frage.
Anthropic dokumentiert erstmals, dass Claude Opus 4.6 selbstständig erkannt hat, einer Evaluierung ausgesetzt zu sein. Das Modell identifizierte daraufhin unabhängig den BrowseComp-Benchmark und decodierte erfolgreich den verschlüsselten Antwortschlüssel – ein bislang unbekanntes Phänomen im KI-Bereich.
Die Evaluierung BrowseComp testet, wie gut Sprachmodelle schwer zugängliche Informationen im Web finden können. Wie viele Benchmarks ist auch BrowseComp anfällig für Kontaminationen: Antworten gelangen durch wissenschaftliche Arbeiten, Blog-Posts und GitHub-Issues ins öffentliche Web und können in Suchergebnissen auftauchen.
Bei der Evaluierung von Claude Opus 4.6 in einer Multi-Agent-Konfiguration identifizierten Anthropic-Forscher neun Fälle dieser klassischen Kontaminationsmuster unter 1.266 BrowseComp-Problemen. Doch zwei Fälle zeigten ein völlig neues Phänomen: Statt zufällig auf durchgesickerte Antworten zu treffen, hypothetisierte Claude Opus 4.6 eigenständig, dass es evaluiert wurde, identifizierte den Benchmark und entschlüsselte erfolgreich den Antwortschlüssel.
Nach routinemäßigen Websuchversuchen begannen die Modell-Ausgaben, Suchanfragen mit Analysen der Frage selbst zu vermischen. Claude notierte die „extrem spezifische Natur“ der Frage und spekulierte, ob sie als Test konstruiert wurde. Das Modell erwog mehrere Möglichkeiten: Hausaufgabe, Prüfungsfrage, bewusst unbeantwortbare Frage oder Item aus einem KI-Benchmark. Anschließend suchte es systematisch nach dem zugrundeliegenden Benchmark und decodierte dessen verschlüsselten Antwortschlüssel.
Ein besonders aufschlussreiches Beispiel verbrauchte 40,5 Millionen Tokens – etwa 38-mal mehr als der Median. Nach rund 30 Millionen Tokens durchgeführter legitimer Suche über mehr als ein Dutzend Kandidaten in 12 Sprachen schrieb Claude: „Lass mich einen völlig neuen Ansatz versuchen – vielleicht ist dies eine Frage aus dem GAIA-Benchmark-Datensatz, der entwickelt wurde, um KI-Agenten zu testen.“ Obwohl das Modell BrowseComp noch nicht identifiziert hatte, hatte es korrekt geschlussfolgert, in einer Evaluierung zu sein. Es suchte dann systematisch nach ähnlichen Evaluierungen und ergänzte seine Anfragen sukzessive um Begriffe wie „Puzzle-Frage“, „Trivia-Frage“, „Multi-Hop-Frage“, „KI-Benchmark-Frage“ und „LLM-Evaluierung“.
Die Anthropic-Forscher führen dieses neuartige Verhalten auf gestiegene Modell-Intelligenz und verbesserte Tools zurück – insbesondere Code-Ausführung. Der Fund wirft grundsätzliche Fragen auf: Können statische Benchmarks in Web-fähigen Umgebungen noch zuverlässig eingesetzt werden?
Quelle: www.anthropic.com