Auf den Punkt: Forscher konnten verschlüsselte Chain-of-Thought-Blöcke von OpenAI-, Anthropic- und Google-Modellen extrahieren, indem sie Traces in schwächere Modelle derselben Familie zurückspielten und diese jailbreakten; die Anbieter haben die Lücke inzwischen geschlossen.
Eine neue Studie zeigt, dass verschlüsselte Chain-of-Thought-Blöcke proprietärer LLM-APIs über Sessions, Nutzer und Modelle hinweg wiederverwendbar waren. Durch Rückspielen der Traces in schwächere Schwestermodelle und deren Jailbreaking konnten Forscher die verborgenen Denkprozesse der stärkeren Modelle im Klartext rekonstruieren.
Die unter der Domain stolen-thoughts.com veröffentlichte Studie belegt, dass Anthropic, OpenAI und Google verschlüsselte Chain-of-Thought-Blöcke („encrypted_content“) an Clients zurückgeben. Diese Blöcke lassen sich über die API abrufen, etwa via OpenAI Responses API mit dem Parameter „include“: [„reasoning.encrypted_content“]. Die Forscher fanden heraus, dass alle Modelle innerhalb einer Modellfamilie denselben Verschlüsselungsschlüssel nutzten. Ein Reasoning-Trace, der von einem Frontier-Modell erzeugt wurde, ließ sich dadurch in ein schwächeres Modell derselben Familie zurückspielen. Nach einem Jailbreak dieses schwächeren Modells gaben die Systeme die zuvor verschlüsselten Reasoning-Inhalte im Klartext aus. Bei Claude Haiku 4.5 gelang der Angriff laut Studie am einfachsten, unter anderem über einen Prompt, der das Modell aufforderte, seine Reasoning-Inhalte wörtlich in einem definierten Tag zu wiederholen, kombiniert mit einem Assistant-Turn-Prefix – eine Funktion, die in den 4.6-Modellen entfernt wurde, in Haiku 4.5 aber noch funktionierte.
Für CISOs ist relevant, dass proprietäre Reasoning-Modelle bislang als Black Box mit geschützten internen Denkprozessen galten. Die Studie zeigt, dass diese Schutzannahme nicht durchgängig griff: Rohe Reasoning-Tokens, die laut den Autoren nie für menschlichen Konsum bestimmt waren, ließen sich extrahieren und enthielten unter anderem Implementierungsdetails zu Softwarearchitekturen. Darüber hinaus demonstrierten die Forscher eine Prompt-Injection-Variante, bei der ein Modell dazu gebracht wird, in seinem Reasoning-Trace über Datenexfiltration nachzudenken – etwa das Hochladen einer Datei auf einen externen Server. Wird dieser verschlüsselte Trace anschließend in ein anderes Modell zurückgespielt, folgen Modelle den darin enthaltenen Anweisungen mit höherer Wahrscheinlichkeit, da sie eigene Reasoning-Inhalte offenbar als vertrauenswürdiger einstufen als reguläre Nutzereingaben.
Alle betroffenen Anbieter haben laut den Studienautoren den Eingang des Berichts bestätigt, und die beschriebenen Angriffe funktionieren inzwischen nicht mehr. Für Sicherheitsverantwortliche, die Reasoning-Modelle über APIs einsetzen oder Reasoning-Ausgaben in eigenen Pipelines weiterverarbeiten, ergibt sich daraus die Notwendigkeit, verschlüsselte Reasoning-Blöcke nicht unreflektiert zwischen Modellversionen oder in Downstream-Systeme zu übernehmen, sowie Prompt-Injection-Schutzmaßnahmen auch auf Reasoning-Traces auszuweiten, da diese von Modellen mit besonderem Vertrauen behandelt werden.
Quelle: simonwillison.net · Erschienen 12. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.