Prisijunkite prie mūsų kasdienių ir savaitinių naujienlaiškių, kad gautumėte naujausių naujienų ir išskirtinio turinio apie pramonėje pirmaujančią AI aprėptį. Sužinokite daugiau
DI naudojimas ir toliau plečiasi, o kai daugiau įmonių integruoja AI įrankius į savo darbo eigą, daugelis nori ieškoti daugiau galimybių sumažinti su AI modelių naudojimu susijusias išlaidas.
Siekdama patenkinti klientų poreikius, AWS paskelbė apie dvi naujas Bedrock galimybes, kad sumažintų dirbtinio intelekto modelių ir programų, kurios jau yra konkurentų platformose, eksploatavimo išlaidas.
Per pagrindinę kalbą AWS re:Invent, Swami Sivasubramanian, AWS AI ir duomenų viceprezidentas, paskelbė apie išmanųjį greitą maršruto parinkimą pagrindiniame sluoksnyje ir greitosios talpyklos atkūrimą.
Išmanusis raginimo maršruto parinkimas padėtų klientams nukreipti raginimus į geriausią dydį, kad didelis modelis neatsakytų į paprastą užklausą.
„Kūrėjams reikia tinkamų modelių jų programoms, todėl siūlome platų modelių rinkinį“, – sakė Sivasubramanianas.
AWS teigė, kad „Intelligent Prompt Routing“ „gali sumažinti išlaidas iki 30%, nepakenkiant tikslumui“. Vartotojai turės pasirinkti modelių šeimą, o „Bedrock“ išmanusis raginimo maršrutas nukreips raginimus tinkamo dydžio tos šeimos modeliams.
Raginimų perkėlimas naudojant skirtingus modelius, siekiant optimizuoti naudojimą ir išlaidas, pamažu išpopuliarėjo AI pramonėje. „Startup Not Diamond“ liepą paskelbė savo išmaniojo maršruto parinkimo funkciją.
Balso agentų bendrovė „Argo Labs“, AWS klientas, teigė, kad naudoja išmanųjį greitą maršruto parinkimą, kad užtikrintų, jog tinkamo dydžio modeliai tvarkytų įvairias klientų užklausas. Paprasti „taip“ arba „ne“ klausimai, pvz., „Ar turite rezervaciją? valdomi mažesnio modelio, bet sudėtingesnio modelio, pvz., „Kokios galimos veganiškos galimybės? būtų nukreiptas į didesnį.
Talpyklos raginimai
AWS taip pat paskelbė, kad „Bedrock“ nuo šiol palaikys greitą talpyklą, kai „Bedrock“ gali išlaikyti bendrus arba kartojamus raginimus, neperjungdamas modelio ir negeneruodamas kito prieigos rakto.
„Žetonų generavimo išlaidos dažnai gali padidėti, ypač dėl pakartotinių raginimų“, – sakė Sivasubramanianas. „Norėjome suteikti klientams paprastą būdą dinamiškai išsaugoti raginimus talpykloje neprarandant tikslumo.
AWS teigė, kad greitas kaupimas talpykloje sumažina išlaidas „iki 90 %, o delsą – iki 85 % palaikomiems modeliams“.
Tačiau AWS šiek tiek pavėlavo į šią tendenciją. Skubios talpyklos kaupimas buvo prieinamas kitose platformose, kad padėtų vartotojams sumažinti išlaidas pakartotinai naudojant raginimus. Anthropic Claude 3.5 Sonnet ir Haiku siūlo greitą talpyklą savo API. „OpenAI“ taip pat išplėtė savo API greitąją talpyklą.
AI modelių naudojimas gali būti brangus
AI programų paleidimas išlieka brangus ne tik dėl mokymo modelių kainos, bet ir dėl faktinio jų naudojimo. Įmonės teigė, kad AI naudojimo išlaidos vis dar yra viena didžiausių kliūčių platesniam diegimui.
Įmonėms pereinant prie agentų naudojimo atvejų, naudotojai vis dar kainuoja, kai pinga modelis ir agentas, kad pradėtų atlikti savo užduotis. Tokie metodai kaip greitas kaupimas talpykloje ir išmanusis maršruto parinkimas gali padėti sumažinti išlaidas, nes apriboja, kada raginimas siunčia modelio API, kad atsakytų į užklausą.
Tačiau modelių kūrėjai teigė, kad augant pritaikymui kai kurių modelių kainos gali kristi. „OpenAI“ teigė, kad AI išlaidos netrukus gali sumažėti.
Daugiau modelių
AWS, kurioje yra daug „Amazon“ modelių, įskaitant naujus „Nova“ modelius, ir pirmaujantys atvirojo kodo tiekėjai, „Bedrock“ pridės naujų modelių. Tai apima „Poolside“ modelius, „Stability AI“ „Stable Diffusion 3.5“ ir „Luma’s Ray 2“. Tikimasi, kad modeliai netrukus pasirodys „Bedrock“.
„Luma“ generalinis direktorius ir vienas iš įkūrėjų Amit Jain sakė „VentureBeat“, kad AWS yra pirmasis bendrovės debesų tiekimo partneris, priglobiantis savo modelius. Jainas teigė, kad bendrovė naudojo „Amazon“ „SageMaker HyperPod“, kurdama ir mokydama „Luma“ modelius.
„AWS komanda turėjo inžinierių, kurie jautėsi mūsų komandos dalimi, nes padėjo mums išsiaiškinti problemas. Mums prireikė beveik savaitės ar dviejų, kad atgaivintume savo modelius“, – sakė Jain.
Source link
