Auf den Punkt: Verifikation durch Token-Logit-Verteilungen ermöglicht feinkörnige, skalierbare Bewertungen von Agentenaufgaben ohne zusätzliches Training.
Forscher präsentieren ein Verifikationsframework, das Large Language Models zur Bewertung von Agentenausgaben einsetzt und dabei kontinuierliche statt diskrete Scores nutzt. Das Verfahren verzichtet auf zusätzliches Training und skaliert über mehrere Dimensionen: Granularität der Scores, wiederholte Evaluationen und Kriterien-Dekomposition.
Das Framework LLM-as-a-Verifier behandelt Verifikation — die Fähigkeit zur Bestimmung der Korrektheit einer Lösung — als neue Skalierungsachse für LLMs. Im Gegensatz zu Standard-Evaluatoren, die diskrete Scores ausgeben, berechnet das Framework die Erwartungswerte über die Verteilung von Scoring-Token-Logits und erzeugt damit kontinuierliche Scores ohne Training-Overhead.
Das System skaliert über drei Hauptdimensionen: (1) Erhöhte Score-Granularität führt zu besserer Separation zwischen korrekten und fehlerhaften Lösungen, (2) wiederholte Evaluationen und (3) Zerlegung der Bewertungskriterien reduzieren Varianz und Komplexität. Die kontinuierliche Formulierung ermöglicht zudem einen kosteneffizienten Ranking-Algorithmus zur Auswahl der besten Lösung aus mehreren Kandidaten.
Im Benchmark-Vergleich erreicht LLM-as-a-Verifier 86,5% auf Terminal-Bench V2, 78,2% auf SWE-Bench Verified, 87,4% auf RoboRewardBench und 73,3% auf MedAgentBench. Die feingranularen Signale funktionieren zudem als Proxy zur Fortschrittsverfolgung von Aufgaben — eine Erweiterung für Claude Code nutzt dies zur Überwachung agentischer Systeme.
Praktisch einsetzbar ist das Framework auch als Feedback-Signal für Reinforcement Learning: Tests mit SAC und GRPO zeigen verbesserte Sample-Effizienz in Robotik- und mathematischen Reasoning-Benchmarks.
Quelle: arxiv.org · Erschienen 5. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.