Prisijunkite prie mūsų kasdienių ir savaitinių naujienlaiškių, kad gautumėte naujausių naujienų ir išskirtinio turinio apie pramonėje pirmaujančią AI aprėptį. Sužinokite daugiau
„Meta“ generatyvaus dirbtinio intelekto viceprezidentas Ahmadas Al-Dahle šiandien stojo į konkurentą socialiniame tinkle X ir paskelbė apie „Llama 3.3“ – naujausio atvirojo kodo daugiakalbio didžiosios kalbos modelio (LLM) išleidimą iš patronuojančių „Facebook“, „Instagram“, „WhatsApp“ ir „Quest VR“ įmonių. .
Kaip jis rašė: „Llama 3.3 pagerina pagrindinį našumą už žymiai mažesnę kainą, todėl ji tampa dar labiau prieinama visai atvirojo kodo bendruomenei.
Turėdama 70 milijardų parametrų (arba nustatymų, reguliuojančių modelio elgesį), „Llama 3.3“ duoda rezultatus, lygiaverčius Meta 405B parametrų modeliui iš „Llama 3.1“ nuo vasaros, tačiau už mažesnę kainą ir skaičiavimo sąnaudas, pvz., GPU pajėgumą, reikalingą darbui. modelis išvadoje.
Jis sukurtas taip, kad pasiūlytų aukščiausios klasės našumą ir prieinamumą, tačiau mažesniame pakete nei ankstesni pagrindo modeliai.
„Meta’s Llama 3.3“ siūloma pagal „Llama 3.3“ bendruomenės licencijos sutartį, kuri suteikia neišskirtinę, nemokamą licenciją naudoti, atgaminti, platinti ir modifikuoti modelį bei jo rezultatus. Kūrėjai, integruojantys „Llama 3.3“ į produktus ar paslaugas, turi įtraukti atitinkamą priskyrimą, pvz., „Sukurta su Llama“, ir laikytis priimtino naudojimo politikos, kuri draudžia tokią veiklą, kaip žalingo turinio kūrimas, įstatymų pažeidimas arba kibernetinių atakų įgalinimas. Nors licencija paprastai yra nemokama, organizacijos, turinčios daugiau nei 700 milijonų aktyvių vartotojų per mėnesį, turi gauti komercinę licenciją tiesiogiai iš Meta.
Meta komandos AI pareiškime pabrėžiama ši vizija: „Llama 3.3 užtikrina aukščiausią našumą ir kokybę visuose teksto naudojimo atvejus už nedidelę išvadų kainą.
Iš tikrųjų apie kokią santaupą mes kalbame? Šiek tiek užpakalinės voko matematikos:
Pagal „Substratus“ tinklaraštį (atvirojo kodo kryžminio debesies substratui) „Llama 3.1-405B“ reikia nuo 243 GB iki 1944 GB GPU atminties. Tuo tarpu senesniam „Llama 2-70B“ reikia nuo 42 iki 168 GB GPU atminties, pasak to paties tinklaraščio, nors tie patys teigė net 4 GB, arba, kaip parodė „Exo Labs“, keli „Mac“ kompiuteriai su M4 lustais ir be jokių atskiri GPU.
Todėl, jei tokiu atveju GPU sutaupytų mažesnių parametrų modeliai, tie, kurie nori įdiegti galingiausius Meta atvirojo kodo Llama modelius, gali tikėtis sutaupyti iki beveik 1940 GB vertės GPU atminties arba galbūt 24 kartus sumažinti GPU apkrovą. standartiniam 80 GB Nvidia H100 GPU.
Apytiksliai 25 000 USD už H100 GPU, tai yra iki 600 000 USD, kad būtų galima sutaupyti GPU išlaidų, jau nekalbant apie nuolatines energijos sąnaudas.
Labai našus mažos formos modelis
Anot Meta AI on X, Llama 3.3 modelis pralenkia identiško dydžio Llama 3.1-70B ir Amazon naujojo Nova Pro modelius keliais etalonais, tokiais kaip daugiakalbis dialogas, samprotavimai ir kitos pažangios natūralios kalbos apdorojimo (NLP) užduotys („Nova“). lenkia jį HumanEval kodavimo užduotyse).
„Llama 3.3“ buvo iš anksto paruošta 15 trilijonų žetonų iš „viešai prieinamų“ duomenų ir sureguliuota daugiau nei 25 milijonuose sintetiniu būdu sukurtų pavyzdžių, remiantis „Meta“ pateiktoje „modelio kortelėje“, paskelbtoje jos svetainėje.
Naudojant 39,3 mln. GPU valandų H100–80 GB aparatinėje įrangoje, modelio kūrimas pabrėžia „Meta“ įsipareigojimą siekti energijos vartojimo efektyvumo ir tvarumo.
„Llama 3.3“ pirmauja atliekant daugiakalbes samprotavimo užduotis su 91,1% tikslumu MGSM, parodydamas savo efektyvumą palaikont tokias kalbas kaip vokiečių, prancūzų, italų, hindi, portugalų, ispanų ir tajų, be anglų kalbos.
Ekonomiškas ir tausojantis aplinką
„Llama 3.3“ yra specialiai optimizuota ekonomiškai efektyvioms išvadoms, o žetonų generavimo išlaidos yra tik 0,01 USD už milijoną žetonų.
Dėl to modelis yra labai konkurencingas su pramonės partneriais, tokiais kaip GPT-4 ir Claude 3.5, o kūrėjams, norintiems diegti sudėtingus dirbtinio intelekto sprendimus, jis yra labiau prieinamas.
„Meta“ taip pat pabrėžė šios laidos atsakomybę aplinkai. Nepaisant intensyvaus mokymo proceso, bendrovė panaudojo atsinaujinančią energiją, kad kompensuotų šiltnamio efektą sukeliančių dujų išmetimą, todėl mokymo etapo grynasis išmetamųjų teršalų kiekis yra lygus nuliui. Pagal vietą išmetamų teršalų kiekis sudarė 11 390 tonų CO2 ekvivalento, tačiau „Meta“ atsinaujinančios energijos iniciatyvos užtikrino tvarumą.
Išplėstinės funkcijos ir diegimo parinktys
Modelis pristato keletą patobulinimų, įskaitant ilgesnį kontekstinį 128 000 žetonų langą (palyginti su GPT-4o, apie 400 puslapių knygos teksto), todėl jis tinkamas ilgos formos turinio generavimui ir kitiems pažangiems naudojimo atvejams.
Jo architektūra apima grupuotos užklausos dėmesį (GQA), pagerinančią mastelį ir našumą atliekant išvadas.
Sukurta taip, kad atitiktų naudotojų saugumo ir naudingumo nuostatas, „Llama 3.3“ naudoja mokymąsi su žmogaus atsiliepimais (RLHF) ir prižiūrimu koregavimu (SFT). Šis suderinimas užtikrina tvirtus netinkamų raginimų atsisakymus ir į asistentą panašų elgesį, optimizuotą realaus pasaulio programoms.
„Llama 3.3“ jau galima atsisiųsti per „Meta“, „Hugging Face“, „GitHub“ ir kitas platformas su integravimo galimybėmis tyrėjams ir kūrėjams. „Meta“ taip pat siūlo tokius išteklius kaip „Llama Guard 3“ ir „Prompt Guard“, kad padėtų vartotojams saugiai ir atsakingai įdiegti modelį.
Source link
