Auf den Punkt: Soofi S 30B-A3B ist ein auf deutschen Daten trainiertes Open-Source-Sprachmodell mit Mixture-of-Experts-Architektur, das durch selektive Parameter-Aktivierung (3B/30B) Throughput-Vorteile bei langen Kontexten bietet.
Forscher haben Soofi S 30B-A3B entwickelt, ein souveränes Open-Source-Sprachmodell für Deutsch und Englisch, das auf einer europäischen HPC-Infrastruktur trainiert wurde. Das Modell kombiniert Mamba- und Transformer-Architektur im Mixture-of-Experts-Design und nutzt nur 3 Milliarden der 30 Milliarden Parameter pro Token.
Soofi S 30B-A3B ist eine Mixture-of-Experts-Hybrid-Architektur aus Mamba- und Transformer-Komponenten, die auf etwa 27 Billionen Tokens vortrainiert wurde, mit gezielter Übergewichtung deutscher Trainingsdaten. Das Modell aktiviert nur 3 Milliarden der insgesamt 30 Milliarden Parameter pro Token und behält eine konstante Inference-Cache-Größe, während der Kontext wächst.
Soofi S erreicht Leistung vergleichbar mit dichten Modellen zwischen 14 und 27 Milliarden Parametern auf englischen und deutschen Benchmarks und erzielt die besten Code-Aggregate unter 17 offenen Basis-Modellen in beiden Sprachen. Unter vollständig offenen Modellen schlägt Soofi S laut Evaluierung die Konkurrenz von Olmo 3 32B und Apertus 70B für Englisch und Deutsch. Alle evaluierten europäischen Souveränitäts-Baselines werden übertroffen.
Für CTOs ist der Throughput-Vorteil bei Long-Context- und High-Concurrency-Szenarien relevant: Durch die aktivierten 3B statt 30B Parameter und die konstante Cache-Größe sinken Latenz und Ressourcen-Overhead gegenüber dichten Modellen erheblich. Das Modell wurde vollständig auf der German Industrial AI Cloud, einer von Deutsche Telekom in München betriebenen HPC-Infrastruktur, trainiert.
Soofi S wird unter hochpermissiven Open-Access-Bedingungen veröffentlicht: Gewichte, ausgewählte Intermediate Checkpoints, vollständige Datenherkunfts-Dokumentation, Hyperparameter sowie Training- und Evaluierungs-Code werden freigegeben. Bei permissiven Quelllizenzen werden auch Datenkonstruktions-Artefakte veröffentlicht; kommerziell lizenzierte Quellen sind mit Aggregat-Statistiken und exakter Mischungs-Bilanzierung dokumentiert.
Quelle: arxiv.org · Erschienen 9. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.