Auf den Punkt: Apple nutzt Vision-LLMs für Siri-Integration ohne Änderungen in bestehenden Apps und stellt Core AI PyTorch Extensions bereit, um Entwicklern eigene Modelle auf Apple-Hardware auszuführen.
Apple hat auf der WWDC 2026 neue Siri-Funktionen angekündigt, die auf lizenzierten Gemini-Modellen basieren und über Private Cloud Compute laufen. Kernneuerung ist der Einsatz von Vision-LLMs zur Screen-Analyse sowie eine neue Core-AI-Bibliothek für Entwickler.
Die neue Siri-Implementierung basiert auf einem lizenzierten, von Google Gemini abgeleiteten Modell, das Apple über seine Private-Cloud-Compute-Infrastruktur betreibt. Der Ansatz erscheint mit heutiger Technologie realisierbar, unterscheidet sich aber deutlich von Ankündigungen aus 2024, die teils nicht umgesetzt wurden.
Eine zentrale technische Neuerung ist der Einsatz von Vision-LLMs: Diese Modelle extrahieren Informationen direkt aus dem Bildschirminhalt des Nutzers, ohne dass existierende Anwendungen spezielle Integrationscode ausliefern müssen. Im Juni 2024 existierte diese Modellkategorie noch kaum marktreif. Damit umgeht Apple das klassische Integrationsproblem, bei dem jede App eigenständige Adapter für neue Plattformfeatures implementieren müsste.
Für Entwickler neu ist die Core-AI-Bibliothek, die speziell auf Apples Hardware zugeschnitten ist. Sie basiert auf Metas Open-Source-Projekt PyTorch und wird über Core-AI-PyTorch-Extensions bereitgestellt: Diese Python-Pakete ermöglichen es, bestehende PyTorch-Modelle als torch.export.ExportedProgram einzubinden und in ein Core-AI-AIProgram zu überführen. Der Konvertierungsprozess traversiert den FX-Graph node-by-node und mapped ATen-Operatoren auf Core-AI-Operationen.
Die neuen Funktionen sind ab sofort in iOS 27 Developer Beta verfügbar, allerdings mit Zugangsrestriktionen: Entwickler müssen auf einer Warteliste anmelden, um Siri-AI-Features zu testen. Erste praktische Berichte dürften bald verfügbar sein.
Quelle: simonwillison.net · Erschienen 9. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.6.5.