Uniforme 4-Bit-Formate beheben den systematischen Shrinkage-Bias von E2M1 beim FP4-LLM-Training und ermöglichen konsistent bessere Konvergenz über alle Modellgrößen hinweg.
FAPO automatisiert die Optimierung mehrstufiger LLM-Pipelines durch Claude Code, schlägt zuerst Prompt-Anpassungen vor und eskaliert nur bei strukturellen Engpässen zu Kettenänderungen, mit Gewinnen bis +33,8 pp bei komplexen Szenarien.
REVES nutzt Zwischenschritte aus erfolgreichen Fehlerbehebungen als separate Trainingsdaten und erreicht damit bessere Leistung mit weniger Rechenaufwand als konventionelle Multi-Turn-Reinforcement-Learning-Methoden.
Die Vorzeichen einzelner Dimensionen in Transformern tragen semantische Information und ermöglichen Merkmalserkennung ohne Training oder Rotation, was einen neuen Weg zu mechanistischer Interpretierbarkeit öffnet.
EfficientRollout nutzt selbstspekulative Dekodierung mit adaptiver Systemauslastung, um Rollout-Latenz in RL-Szenarien zu senken, ohne separate Drafter-Pretraining oder das Zielmodell zu gefährden.
STARE nutzt Überraschungsmetriken und selektive Advantage-Reweighting, um Policy-Entropie über lange Trainingssequenzen stabil zu halten und dabei Genauigkeit um 4–8 % zu verbessern.
GLM-5.2 rangiert als führendes offenes Sprachmodell auf dem Artificial-Analysis-Index mit einem Score von 51 und belegt Platz 2 im Code-Arena-WebDev-Leaderboard, produziert aber signifikant mehr Output-Tokens als Konkurrenzmodelle.
ZPPO integriert Lehrermodelle als Prompt-Komponenten statt als Gradienten und verbessert damit die Generalisierung beim Wissenstransfer auf kleine Modelle.
Die neue API ermöglicht es, Safeguards granular an jedem Punkt in Multi-Turn-Agent-Schleifen anzuwenden und basierend auf numerischen Scores eigene Schwellwerte sowie Aktionen (Block, Bypass, Retry) zu definieren.
AWS hat mit P-EAGLE eine parallelisierte Variante von Speculative Decoding entwickelt, die Draft-Tokens in einem Forward-Pass statt sequenziell erzeugt und damit Inferenzdurchsatz auf SageMaker AI um bis zu 1,69x erhöht.
Tangram statisch vorhersagbare Speicherbudgets pro Attention-Head, um Fragmentierung und Latenzverschleppung zu eliminieren, die dynamische KV-Cache-Kompression verursacht.
