Auf den Punkt: Speichersysteme für Agenten verfehlen 86 Prozent der Anfragen, bei denen das richtige Faktum nicht sprachlich mit der Anfrage übereinstimmt, obwohl sie den Fakt abrufen können, wenn er direkt sichtbar ist.
Forscher haben ein Benchmark mit 125 Aufgaben veröffentlicht, das eine systematische Schwachstelle in Agent-Memory-Systemen aufdeckt: Sie können gespeicherte Fakten nicht abrufen, wenn die Suchanfrage keine wörtlichen Übereinstimmungen enthält. Ein klassisches Beispiel ist eine Nussallergie, die bei einer Makronen-Anfrage relevant sein sollte, aber nicht automatisch verbunden wird.
Das InMind-Benchmark prüft speziell das Problem der impliziten Assoziation (Implicit-Association Blind Spot). Statt nur zu messen, ob Speichersysteme Fakten abrufen können, untersucht es, ob sie Fakten abrufen können, wenn die Anfrage nicht die gleichen Stichwörter wie die gespeicherte Information enthält. Das Benchmark umfasst 125 Aufgaben über zehn Lebensbereiche mit 113 Aufgaben, die durch zitierbare öffentliche Quellen belegt sind.
Die Ergebnisse zeigen eine drastische Lücke: Wenn die relevante Erinnerung direkt im Kontext verfügbar ist, erreichen Backbone-Modelle 84,0 Prozent korrekte Antworten. Müssen dieselben Erinnerungen aber über einen Abrufmechanismus lokalisiert werden, fallen sechs getestete Speichersysteme (Vektor-, Graph- und Agent-basierte Ansätze) auf maximal 14,4 Prozent ab — obwohl sie bei direkter Abfrage dieselben Fakten zu 100 Prozent abrufen können. Dies zeigt, dass das Problem nicht bei der Speicherung oder beim Faktenwissen liegt, sondern in der Schnittstelle zwischen Anfrage und Abruf.
Weitere Tests deuten auf das Kernproblem hin: Selbst eine Vergrößerung der Embedding-Dimensionalität um das Achtfache schließt die Lücke nicht. Ein minimales diagnostisches Verfahren, das Speicher vor dem Eintreffen der Anfrage sichtbar hält, konnte jedoch den Großteil der Leistungslücke beheben. Das deutet darauf hin, dass Routing — also die Entscheidung, welche Fakten kontinuierlich verfügbar bleiben — der offene Entwicklungspunkt ist.
Für Ingenieurbereiche wie Chatbot- und Agenten-Entwicklung ist das Benchmark relevant, da es zeigt, dass höherdimensionale Embeddings oder größere Speicher allein nicht ausreichen. Stattdessen müssen Systeme aktiv entscheiden, welche Informationen vor einer Anfrage vorab aktiviert sein sollten — etwa durch Kontextpräfetchung oder explizite Relevanzmodellierung.
Quelle: arxiv.org · Erschienen 26. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.