Auf den Punkt: Sinkende Token-Preise werden laut Gartner durch den massiv höheren Token-Verbrauch von KI-Agenten überkompensiert, sodass die Gesamt-Inferenzkosten bis 2028 auf mehr als das Fünffache steigen.
Gartner prognostiziert, dass Unternehmen für agentische KI-Workflows bis 2028 mehr als das Fünffache an heutigen Inferenzkosten zahlen müssen – obwohl die Kosten pro Token kontinuierlich sinken. Grund ist der stark steigende Token-Verbrauch komplexer KI-Agenten gegenüber einfachen Chatbots.
Das Analysehaus Gartner beschreibt in einer aktuellen Prognose ein Phänomen, das es als „Inference-Paradox“ bezeichnet: Obwohl die Kosten pro verarbeitetem Token bei großen Sprachmodellen kontinuierlich sinken und neue Modellgenerationen effizienter rechnen als ihre Vorgänger, werden Unternehmen laut Gartner in den kommenden Jahren deutlich mehr für KI-Inferenz ausgeben müssen. Pro agentischem Workflow soll dieser Anstieg bis zum Jahr 2028 mehr als das Fünffache der heutigen Kosten betragen. Verantwortlich dafür ist der Wandel von einfachen, assistierenden KI-Funktionen zu KI-Agenten, die mehrstufige Aufgaben eigenständig ausführen. Gartner-Analyst Will Sommer erläutert den Unterschied: Ein Chatbot muss eine Anfrage lesen, interpretieren und mit einer wahrscheinlich passenden Antwort reagieren, während ein KI-Agent fortlaufend Schlussfolgerungen ziehen, verhandeln und sich selbst hinterfragen muss. Nach Gartners Berechnungen verursacht das Weiterleiten einer Aufgabe an ein Agentic-Reasoning-Modell im Vergleich zu einer einfachen Chatbot-Interaktion mindestens das Fünffache an Inferenzkosten bei den Anbietern, bei komplexeren Aufgaben kann dieser Faktor laut Gartner noch deutlich höher liegen.
Für Verantwortliche in Unternehmen ist relevant, dass die Kostenstruktur nicht linear mit den Fähigkeiten der Modelle mitwächst. Gartner nennt drei Trends, die die sogenannte Token-Ökonomie prägen: Erstens verbessert sich die Kostenstruktur der Basismodelle rasant. Zweitens ermöglichen effizientere Modelle den Einsatz noch leistungsfähigerer und teurerer Modelle für anspruchsvollere Anwendungsfälle. Drittens verbrauchen komplexere KI-Workflows erheblich mehr Tokens als einfache Chat-Interaktionen, was die Gesamtkosten in die Höhe treibt. Tokens werden also günstiger, jedoch nicht schnell genug, um mit dem Zuwachs an KI-Fähigkeiten und den damit verbundenen Kosten Schritt zu halten. Das Innovationstempo übertrifft demnach die Kostenkurve deutlich.
Für Produktverantwortliche bedeutet das laut Sommer, dass sie sich nicht darauf verlassen können, dass eine effizientere Token-Ökonomie die KI-Kosten automatisch rechtfertigt. Jede neue Generation von KI-Fähigkeiten benötige mehr, und oft teurere, Tokens. Ein universelles Modell, das zugleich leistungsfähig und günstig ist, sei nicht in Sicht. Wer wettbewerbsfähige KI-Produkte bauen wolle, komme nicht darum herum, komplexe Ökosysteme aus mehreren Modellen aufzubauen und zu pflegen.
Um trotz steigender Kosten einen positiven Return on Investment aus fortgeschrittenen KI-Funktionen wie Reasoning-Agenten zu erzielen, nennt Gartner zwei mögliche Wege: Entweder müssen die Erträge aus dem Einsatz exponentiell mit den Kosten mitwachsen, oder Unternehmen setzen auf fein abgestimmtes Inferenz-Tiering, Routing und Orchestrierung, um Aufgaben je nach Komplexität möglichst kosteneffizienten Modellen zuzuweisen. Beides sei machbar, erfordere laut Gartner aber erheblichen Aufwand über komplette Workflows hinweg. Sommer fasst zusammen: Wer standardmäßig auf generische autonome Intelligenz setzt, werde mit unbegrenzten Kosten konfrontiert, die um Größenordnungen über denen optimierter Produkt-Ökosysteme liegen.
Quelle: www.it-daily.net · Erschienen 17. August 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.8.3.