Zum Inhalt springen

Deutsches Konsortium Soofi veröffentlicht Sprachmodell mit Mamba-Transformer-Hybrid

Auf den Punkt: Soofi S aktiviert aus 30 Milliarden Parametern pro Token nur 3 Milliarden und übertrifft damit europäische und US-amerikanische Open-Source-Modelle bei deutlich niedrigerem Rechenaufwand.

Das Forschungskonsortium Soofi hat das Open-Source-Modell Soofi S 30B-A3B freigegeben, das in englischen und deutschen Benchmarks internationale Open-Source-Konkurrenten übertrifft. Das Modell kombiniert Mamba- und Transformer-Architekturen mit Mixture-of-Experts-Design und wurde auf der KI-Cloud-Infrastruktur der Deutschen Telekom trainiert.

Das Modell Soofi S 30B-A3B basiert auf einer Mixture-of-Experts-Architektur (MoE), bei der das neuronale Netz in spezialisierte Untereinheiten unterteilt ist, die selektiv für bestimmte Datenpakete aktiviert werden. Die Gesamtarchitektur kombiniert dabei Mamba- und Transformer-Elemente. Mit 30 Milliarden Gesamtparametern aktiviert das System pro verarbeitetem Token lediglich 3 Milliarden Parameter. Dies reduziert den Rechenressourcen-Bedarf beim Betrieb deutlich.

Ein Vorteil der MoE-Architektur liegt in der Speichereffizienz für den Kontext: Der Zwischenspeicher für Berechnungen bleibt mit wachsendem Textkontext nahezu konstant. Dies ermöglicht Geschwindigkeitsvorteile beim Verarbeiten langer Dokumente und bei gleichzeitigen Anfragen mehrerer Nutzer im Vergleich zu dicht besetzten Transformern. Trainiert wurde die Anwendung vollständig auf der KI-Cloud-Infrastruktur der Deutschen Telekom.

Nach einem veröffentlichten technischen Bericht auf arXiv ist Soofi S derzeit das leistungsfähigste vollständig offene Modell in englischen und deutschen Testverfahren. Es übertrifft Open-Source-Konkurrenten wie Alia 40B (Spanien), EuroLLM 22B, Apertus 70B (Schweiz) und Olmo 3 32B (USA). In den aggregierten Tests erreicht Soofi S die Leistung geschlossener Modelle mit 14 bis 27 Milliarden Parametern, benötigt dafür aber nur einen Bruchteil der aktiven Parameterkosten. Schwächer schnitt das Modell bei MMLU-Pro (allgemeines Wissen) und GPQA-D-DE (fortgeschrittene wissenschaftliche Logik) ab, übertraf dort aber ebenfalls andere Open-Source-Vergleichsmodelle. Michael Fromm, Leiter Pretraining-Daten bei Soofi, betonte: „Unser Vorteil ist Leistungsfähigkeit + Durchsatz + vollständige Offenheit.“

Der Zugang zum Modell ist nicht als frei verfügbarer Chatbot im Internet implementiert. Unternehmen und Organisationen müssen Zugriffsanfragen mit konkretem Anwendungsszenario einreichen. Karl Lauterbach, Vorsitzender des Ausschusses für Forschung, Technologie und Raumfahrt im Bundestag, erklärte, dass Soofi nicht mit Spitzenmodellen wie Claude oder OpenAI-Systemen konkurriere, aber für ein breites Spektrum von Industrieanwendungen und Verwaltungsaufgaben ausreichend sei.


Quelle: www.it-daily.net · Erschienen 17. Juli 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.3.

Share on: