Skip to content

Amazon Bedrock Model Profiler: avatud lähtekoodiga tööriist mudeli valimiseks

Lühidalt: Model Profiler koondab mudelite metaandmed seitsmest andmeallikast ühte veebiliidesesse koos filtreerimise, võrdlemise ja saadavuskaartidega, et kiirendada tehnoloogiajuhtide jaoks mudeli valimist.

AWS avaldab Model Profileri avatud lähtekoodiga tööriistana, et lihtsustada baasmudelite valimist Amazon Bedrockis. Lahendus koondab üle 100 erineva pakkuja mudeli metaandmed ühte otsitavasse liidesesse.

Model Profiler on veebirakendus, mis koondab juurdepääsu enam kui 100 baasmudelile sellistelt pakkujatelt nagu Anthropic, OpenAI, Meta, Mistral AI, Cohere ja Amazon. Seni pidid otsustajad otsima mudelite spetsifikatsioone, hinnainfot, piirkondlikku saadavust ja konteksti akna suurust läbi mitme AWS-i konsooli lehe, dokumentatsiooni ja API. Tööriist koondab need andmed seitsmest allikast: viiest AWS API-st (ListFoundationModels, Price List, Service Quotas, ListInferenceProfiles ja Mantle) ning kahest avalikust andmeallikast (LiteLLM mudeliandmebaas ja AWS-i dokumentatsioon).

Tehnoloogiajuhtide jaoks on eriti oluline tulemuslikkuse mõõdikute kuvamine: Tokens-per-Minute (TPM) määrab läbilaskevõime ülempiiri – umbes 1000 tokenit vastab ligikaudu 750 sõnale tekstile. Requests-per-Minute (RPM) piirab sellest sõltumatult API-päringute arvu. Tööriist kuvab need kvoodid mudeli ja piirkonna kaupa ning võimaldab võrrelda otse kulusid nõudluspõhise, partii- ja reserveeritud hinnastamise vahel 33 AWS-i piirkonnas. Lisaks kuvatakse mudelite staatus (aktiivne, vananenud, kasutuselt kõrvaldatud) AWS-i dokumentatsiooni põhjal.

Andmete kogumine toimub täisautomaatselt AWS Step Functions’i kaudu 17 Lambda-funktsiooniga. Amazon Bedrockil põhinev agentne süsteem tuvastab andmelüngad ja rakendab iseparanevalt korrigeerivaid konfiguratsioone. Tänu S3-põhisele vahemällu salvestamisele Lambda-funktsioonide vahel väheneb API-päringute arv umbes 480-lt 29-le ühe tsükli kohta (97% vahemälutabamuse määr). Kogu protsess kestab 8–12 minutit ja käivitub iga päev, et hoida hinna- ja saadavusandmed ajakohasena. Lahendus on saadaval avatud lähtekoodiga ja selle saab kasutusele võtta vähem kui viie minutiga.


Allikas: aws.amazon.com · Avaldatud 1. juuli 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt tehisintellektimääruse artiklile 50. Parafraseerimine ja klassifitseerimine Lumi News Pipeline v1.7.2 abil.

Share on: