Auf den Punkt: LLMs können in Multi-Turn-Gesprächen mit sich entwickelnden Nutzerabsichten nicht zuverlässig mithalten, obwohl Standard-Benchmarks dies nicht abbilden.
Forschung zeigt, dass Large Language Models trotz starker Performance in statischen Tests deutlich schlechter werden, wenn Benutzer ihre Anforderungen während eines Gesprächs iterativ ändern oder neu definieren. Dieses fundamentale Defizit wird durch konventionelle Single-Turn-Evaluationen nicht erfasst.
Forscher der Universität haben ein Framework entwickelt, das statische Single-Turn-Aufgaben in dynamische Multi-Turn-Konversationen umwandelt. Dabei wird die Benutzerabsicht bewusst schrittweise enthüllt, überarbeitet und teilweise mittendrin umgelenkt – während die Evaluationsprotokolle der ursprünglichen Aufgaben beibehalten werden. Dies ermöglicht es, bestehende Benchmarks als kontrollierte Testumgebungen zu nutzen, ohne neue Annotationen zu benötigen.
Die empirischen Ergebnisse über mehrere Modellarchitekturen hinweg sind konsistent: Starke Performance in statischen Settings überträgt sich nicht auf das Szenario mit sich entwickelnden Absichten. Alle getesteten Modell-Familien zeigen erhebliche Leistungsabfälle. Das deutet darauf hin, dass aktuelle LLMs die Benutzerabsicht über den Gesprächsverlauf nicht zuverlässig nachverfolgen und umsetzen können.
Für CTOs ist dies relevant, weil produktive LLM-Deployments zunehmend auf iterative Zusammenarbeit abzielen: Nutzer delegieren komplexe Aufgaben an Agenten, die mit ihnen über mehrere Turns interagieren und dabei Anforderungen verfeinern. Die Konvergenz zwischen starken Single-Turn-Metriken und echtem Multi-Turn-Versagen bedeutet, dass Evaluationsverfahren innerhalb von Organisationen um dynamische Intent-Tracking-Tests erweitert werden müssen, bevor solche Systeme in kritischen Workflows zum Einsatz kommen.
Quelle: arxiv.org · Erschienen 21. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.