Das WorkBuddy Bench Framework validiert Coding-Agenten über vier praktische Domänen mit Contamination-resistenter Task-Konstruktion und vollständiger Reproduzierbarkeit durch offene Veröffentlichung.
Die Geschwindigkeit der Code-Generierung durch Agenten ist kein Gewinn, wenn Validierung, Testing und Deployment nicht entsprechend automatisiert oder optimiert werden.
Googles neues Framework automatisiert ein fünfstufiges Evaluierungs-Verfahren für Code-Agenten und ermöglicht sichere Optimierungen durch adaptive Bewertung und Cluster-Analyse von Fehlern.
Zehn der elf getesteten Open-Source-KI-Agenten lassen sich durch eine klassische Shell-Injection-Technik dazu bringen, Sicherheitsprüfungen zu umgehen.
Dedizierte Explorations-Modelle (4B–30B Parameter) können Code-Suche in Repositories effizienter handhaben als allgemeine Solver-Modelle und reduzieren dabei Context-Pollution erheblich.
AI-native Entwicklung erfordert Neugestaltung von Workflows und Kontextzugang für Agenten, nicht nur schnellere Tooleinführung – erreicht dann aber 4,5x bis 10x Produktivitätszuwachs.
Nur jeder fünfte Sozialwissenschaftler nutzt autonome Kodierungs-Agenten, obwohl diese Forschungsprozesse revolutionieren könnten. Deutliche Unterschiede zeigen sich nach Geschlecht und Institution – ein Hinweis auf wachsende digitale Ungleichheiten in der Wissenschaft.
