Lühidalt: Kimi K3 on avatud tipptasemel mudel, millel on sisseehitatud visuaalne taju, miljoni tokeni suurune kontekstiaken ja K2-ga võrreldes 2,5 korda parem skaleerimistõhusus, ning kõik mudeli kaalud on avaldatud.
Zhao Hui (Kimi tootja) tutvustab Kimi K3-te, avatud lähtekoodiga keelemudelit, millel on 2,8 triljonit parameetrit ja sisseehitatud pilditöötlusvõimekus. Mixture-of-Experts-süsteem aktiveerib 104 miljardit parameetrit ning saavutab miljoni tokeni suuruse kontekstiakna.
Kimi K3 on Mixture-of-Experts-mudel, millel on 2,8 triljonit parameetrit, millest iga järelduse sammu kohta aktiveeritakse 104 miljardit. Süsteem kasutab Stable LatentMoE-d, et valida iga tokeni jaoks 896 marsruuditud eksperdi seast 16. Miljoni tokeni suuruse kontekstiakna ja sisseehitatud nägemisvõimega tuleb see toime ülesannetega, kus esineb pikki, mitmeastmelisi sõltuvusi.
Tehniliselt tugineb Kimi K3 kahele arhitektuurielemendile: Kimi Delta Attention parandab infovoogu üle järjestuse pikkuse ja mudeli sügavuse, samal ajal kui Attention Residuals tagavad täiendava stabiilsuse. Skaleerimistõhusus paranes võrreldes K2-ga ligikaudu 2,5 korda. Järeltreening hõlmab tugevdusõpet kolmes valdkonnas (üldine, agentsed ülesanded, programmeerimine) mitmel pingutustasemel, mis võimaldab kompositsioonilist üldistusvõimet ja töökindlat mitmeastmelist täitmist.
Infrastruktuuri osas realiseeriti mitu uuendust: algoritmi ja süsteemi ühisdisain Kimi Delta Attention’i jaoks, ideaalselt tasakaalustatud ekspertide paralleeltreening koos tõhusa mäluhaldusega, miljoni tokeniga agentne tugevdusõpe koos püsivate rollout- ja liivakasti-olekutega, ning spetsiaalsed juurutusoptimeeringud.
Võrdlustestides näitab Kimi K3 tipptasemel jõudlust programmeerimis-, agent-, teadmiste-, arutlus- ja nägemisülesannetes. Üldjõudluselt jääb see Claude Fable 5-st ja GPT-5.6 Solist maha, kuid ületab järjekindlalt kõiki teisi hinnatud avatud lähtekoodiga ja proprietaarseid mudeleid. Mudeli täielikud kaalud on avalikustatud.
Allikas: arxiv.org · Avaldatud 26. juulil 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse art 50-le. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.3 abil.