Auf den Punkt: Weil OpenAI, Anthropic und Google denselben Verschlüsselungsschlüssel innerhalb einer Modellfamilie nutzten, ließen sich verschlüsselte Reasoning-Traces starker Modelle per Replay-Angriff und Jailbreak auf schwächere Geschwistermodelle im Klartext extrahieren, bevor die Anbieter die Lücke schlossen.
Eine neue Studie zeigt, dass die verschlüsselten Chain-of-Thought-Blöcke von Anthropic, OpenAI und Google zwischen Sitzungen, Nutzern und Modellen wiederverwendbar waren. Über einen Replay-Angriff auf schwächere Modelle innerhalb derselben Modellfamilie ließen sich die verschlüsselten Denkprozesse stärkerer Modelle im Klartext auslesen.
Die unter der Domain stolen-thoughts.com veröffentlichte Studie beschreibt eine Schwachstelle in der Art, wie führende LLM-Anbieter ihre internen Reasoning-Traces absichern. APIs wie die von OpenAI liefern bei aktivierter Reasoning-Funktion verschlüsselte Blöcke („encrypted_content“) an Clients zurück, die den vollständigen Denkprozess des Modells enthalten, aber nicht direkt lesbar sind. Die Forscher fanden heraus, dass alle Modelle innerhalb derselben Modellfamilie denselben Verschlüsselungsschlüssel verwendeten. Damit ließ sich ein von einem leistungsstarken Modell erzeugter Trace in ein schwächeres Geschwistermodell derselben Familie zurückspielen. Wurde dieses schwächere Modell anschließend per Jailbreak dazu gebracht, den empfangenen Block zu transkribieren, gab es die eigentlich verschlüsselten Gedanken des stärkeren Modells im Klartext preis. Bei Claude Haiku 4.5 genügte dafür laut Studie ein einfacher Prompt, der das Modell aufforderte, die angehängte Reasoning-Passage wortwörtlich in einem <thinking-copy>-Tag zu wiederholen, kombiniert mit einem entsprechend gesetzten Antwort-Präfix. Diese Präfix-Funktion wurde inzwischen aus neueren Claude-4.6-Modellen entfernt, funktioniert bei Haiku 4.5 jedoch weiterhin.
Für Sicherheitsverantwortliche ergeben sich aus dem Fund zwei relevante Risikodimensionen. Erstens bestätigt die Studie, dass Reasoning-Tokens, die von den Anbietern bewusst nicht für die direkte Anzeige an Endnutzer vorgesehen sind, dennoch systematisch extrahierbar waren – mit möglichen Implikationen für Geschäftsgeheimnisse, Modellverhalten und Trainingsartefakte, die sich aus rohen Denkprozessen ablesen lassen. Zweitens beschreiben die Autoren eine Prompt-Injection-Variante, bei der ein Modell dazu gebracht wird, eine Datenexfiltration (etwa das Hochladen einer Datei auf einen externen Server) als Teil seines eigenen Denkprozesses zu simulieren. Wird dieser manipulierte, verschlüsselte Trace anschließend in ein anderes Modell eingespeist, folgt dieses den enthaltenen Anweisungen mit deutlich höherer Wahrscheinlichkeit als bei regulären Prompt-Injections. Die Studie deutet darauf hin, dass Modelle ihre eigenen Reasoning-Inhalte als vertrauenswürdiger einstufen als externen Input, was neue Angriffsflächen für indirekte Prompt-Injection über Reasoning-Kanäle eröffnet.
Alle betroffenen Anbieter – Anthropic, OpenAI und Google – haben den Bericht der Forscher nach eigenen Angaben bestätigt und die beschriebenen Angriffe inzwischen unterbunden. Für Unternehmen, die APIs mit Reasoning-Funktion produktiv einsetzen, folgt daraus die Notwendigkeit, Modell- und API-Versionen aktuell zu halten und bei der Bewertung von Datenschutz- und Vertraulichkeitszusagen der Anbieter zu berücksichtigen, dass interne Denkprozesse von Modellen technisch keine absolute Vertraulichkeit garantieren, auch wenn sie verschlüsselt ausgeliefert werden. Wo Reasoning-Traces über mehrere Modellfamilien oder Sitzungen hinweg weitergereicht oder zwischengespeichert werden, sollte geprüft werden, ob Schlüsselverwaltung und Zugriffskontrollen der jeweiligen Anbieter dem eigenen Schutzbedarf entsprechen.
Quelle: simonwillison.net · Erschienen 12. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.