{"id":481,"date":"2024-12-06T20:57:51","date_gmt":"2024-12-06T20:57:51","guid":{"rendered":"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/"},"modified":"2024-12-06T20:57:51","modified_gmt":"2024-12-06T20:57:51","slug":"meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli","status":"publish","type":"post","link":"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/","title":{"rendered":"Meta pristato Llama 3.3, susitraukiant\u012f galing\u0105 405B atvir\u0105 model\u012f"},"content":{"rendered":" \r\n<br><div>\n\t\t\t\t<div id=\"boilerplate_2682874\" class=\"post-boilerplate boilerplate-before\">\n<p><em>Prisijunkite prie m\u016bs\u0173 kasdieni\u0173 ir savaitini\u0173 naujienlai\u0161ki\u0173, kad gautum\u0117te naujausi\u0173 naujien\u0173 ir i\u0161skirtinio turinio apie pramon\u0117je pirmaujan\u010di\u0105 AI apr\u0117pt\u012f. Su\u017einokite daugiau<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator has-css-opacity is-style-wide\"\/>\n<\/div><p>\u201eMeta\u201c generatyvaus dirbtinio intelekto viceprezidentas Ahmadas Al-Dahle \u0161iandien stojo \u012f konkurent\u0105 socialiniame tinkle X ir paskelb\u0117 apie \u201eLlama 3.3\u201c \u2013 naujausio atvirojo kodo daugiakalbio did\u017eiosios kalbos modelio (LLM) i\u0161leidim\u0105 i\u0161 patronuojan\u010di\u0173 \u201eFacebook\u201c, \u201eInstagram\u201c, \u201eWhatsApp\u201c ir \u201eQuest VR\u201c \u012fmoni\u0173. .<\/p>\n\n\n\n<p>Kaip jis ra\u0161\u0117: \u201eLlama 3.3 pagerina pagrindin\u012f na\u0161um\u0105 u\u017e \u017eymiai ma\u017eesn\u0119 kain\u0105, tod\u0117l ji tampa dar labiau prieinama visai atvirojo kodo bendruomenei.<\/p>\n\n\n\n<p>Tur\u0117dama 70 milijard\u0173 parametr\u0173 (arba nustatym\u0173, reguliuojan\u010di\u0173 modelio elges\u012f), \u201eLlama 3.3\u201c duoda rezultatus, lygiaver\u010dius Meta 405B parametr\u0173 modeliui i\u0161 \u201eLlama 3.1\u201c nuo vasaros, ta\u010diau u\u017e ma\u017eesn\u0119 kain\u0105 ir skai\u010diavimo s\u0105naudas, pvz., GPU paj\u0117gum\u0105, reikaling\u0105 darbui. modelis i\u0161vadoje.<\/p>\n\n\n\n<p>Jis sukurtas taip, kad pasi\u016blyt\u0173 auk\u0161\u010diausios klas\u0117s na\u0161um\u0105 ir prieinamum\u0105, ta\u010diau ma\u017eesniame pakete nei ankstesni pagrindo modeliai.<\/p>\n\n\n\n<p>\u201eMeta&#8217;s Llama 3.3\u201c si\u016bloma pagal \u201eLlama 3.3\u201c bendruomen\u0117s licencijos sutart\u012f, kuri suteikia nei\u0161skirtin\u0119, nemokam\u0105 licencij\u0105 naudoti, atgaminti, platinti ir modifikuoti model\u012f bei jo rezultatus. K\u016br\u0117jai, integruojantys \u201eLlama 3.3\u201c \u012f produktus ar paslaugas, turi \u012ftraukti atitinkam\u0105 priskyrim\u0105, pvz., \u201eSukurta su Llama\u201c, ir laikytis priimtino naudojimo politikos, kuri draud\u017eia toki\u0105 veikl\u0105, kaip \u017ealingo turinio k\u016brimas, \u012fstatym\u0173 pa\u017eeidimas arba kibernetini\u0173 atak\u0173 \u012fgalinimas. Nors licencija paprastai yra nemokama, organizacijos, turin\u010dios daugiau nei 700 milijon\u0173 aktyvi\u0173 vartotoj\u0173 per m\u0117nes\u012f, turi gauti komercin\u0119 licencij\u0105 tiesiogiai i\u0161 Meta.<\/p>\n\n\n\n<p>Meta komandos AI parei\u0161kime pabr\u0117\u017eiama \u0161i vizija: \u201eLlama 3.3 u\u017etikrina auk\u0161\u010diausi\u0105 na\u0161um\u0105 ir kokyb\u0119 visuose teksto naudojimo atvejus u\u017e nedidel\u0119 i\u0161vad\u0173 kain\u0105.<\/p>\n\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Turinys:<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/#Is_tikruju_apie_kokia_santaupa_mes_kalbame_Siek_tiek_uzpakalines_voko_matematikos\" >I\u0161 tikr\u0173j\u0173 apie koki\u0105 santaup\u0105 mes kalbame? \u0160iek tiek u\u017epakalin\u0117s voko matematikos:<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/#Labai_nasus_mazos_formos_modelis\" >Labai na\u0161us ma\u017eos formos modelis<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/#Ekonomiskas_ir_tausojantis_aplinka\" >Ekonomi\u0161kas ir tausojantis aplink\u0105<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/naujienaplius.lt\/index.php\/2024\/12\/06\/meta-pristato-llama-3-3-susitraukianti-galinga-405b-atvira-modeli\/#Isplestines_funkcijos_ir_diegimo_parinktys\" >I\u0161pl\u0117stin\u0117s funkcijos ir diegimo parinktys<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\" id=\"h-how-much-savings-are-we-talkin-about-really-some-back-of-the-envelope-math\"><span class=\"ez-toc-section\" id=\"Is_tikruju_apie_kokia_santaupa_mes_kalbame_Siek_tiek_uzpakalines_voko_matematikos\"><\/span>I\u0161 tikr\u0173j\u0173 apie koki\u0105 santaup\u0105 mes kalbame? \u0160iek tiek u\u017epakalin\u0117s voko matematikos:<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Pagal \u201eSubstratus\u201c tinklara\u0161t\u012f (atvirojo kodo kry\u017eminio debesies substratui) \u201eLlama 3.1-405B\u201c reikia nuo 243 GB iki 1944 GB GPU atminties. Tuo tarpu senesniam \u201eLlama 2-70B\u201c reikia nuo 42 iki 168 GB GPU atminties, pasak to paties tinklara\u0161\u010dio, nors tie patys teig\u0117 net 4 GB, arba, kaip parod\u0117 \u201eExo Labs\u201c, keli \u201eMac\u201c kompiuteriai su M4 lustais ir be joki\u0173 atskiri GPU.<\/p>\n\n\n\n<p>Tod\u0117l, jei tokiu atveju GPU sutaupyt\u0173 ma\u017eesni\u0173 parametr\u0173 modeliai, tie, kurie nori \u012fdiegti galingiausius Meta atvirojo kodo Llama modelius, gali tik\u0117tis sutaupyti iki beveik 1940 GB vert\u0117s GPU atminties arba galb\u016bt 24 kartus suma\u017einti GPU apkrov\u0105. standartiniam 80 GB Nvidia H100 GPU. <\/p>\n\n\n\n<p>Apytiksliai 25 000 USD u\u017e H100 GPU, tai yra iki 600 000 USD, kad b\u016bt\u0173 galima sutaupyti GPU i\u0161laid\u0173, jau nekalbant apie nuolatines energijos s\u0105naudas. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-a-highly-performant-model-in-a-small-form-factor\"><span class=\"ez-toc-section\" id=\"Labai_nasus_mazos_formos_modelis\"><\/span>Labai na\u0161us ma\u017eos formos modelis<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Anot Meta AI on X, Llama 3.3 modelis pralenkia identi\u0161ko dyd\u017eio Llama 3.1-70B ir Amazon naujojo Nova Pro modelius keliais etalonais, tokiais kaip daugiakalbis dialogas, samprotavimai ir kitos pa\u017eangios nat\u016bralios kalbos apdorojimo (NLP) u\u017eduotys (\u201eNova\u201c). lenkia j\u012f HumanEval kodavimo u\u017eduotyse).<\/p>\n\n\n\n<figure class=\"wp-block-image size-full is-resized\"><\/figure>\n\n\n\n<p>\u201eLlama 3.3\u201c buvo i\u0161 anksto paruo\u0161ta 15 trilijon\u0173 \u017eeton\u0173 i\u0161 \u201evie\u0161ai prieinam\u0173\u201c duomen\u0173 ir sureguliuota daugiau nei 25 milijonuose sintetiniu b\u016bdu sukurt\u0173 pavyzd\u017ei\u0173, remiantis \u201eMeta\u201c pateiktoje \u201emodelio kortel\u0117je\u201c, paskelbtoje jos svetain\u0117je.<\/p>\n\n\n\n<p>Naudojant 39,3 mln. GPU valand\u0173 H100\u201380 GB aparatin\u0117je \u012frangoje, modelio k\u016brimas pabr\u0117\u017eia \u201eMeta\u201c \u012fsipareigojim\u0105 siekti energijos vartojimo efektyvumo ir tvarumo.<\/p>\n\n\n\n<p>\u201eLlama 3.3\u201c pirmauja atliekant daugiakalbes samprotavimo u\u017eduotis su 91,1% tikslumu MGSM, parodydamas savo efektyvum\u0105 palaikont tokias kalbas kaip vokie\u010di\u0173, pranc\u016bz\u0173, ital\u0173, hindi, portugal\u0173, ispan\u0173 ir taj\u0173, be angl\u0173 kalbos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-cost-effective-and-environmentally-conscious\"><span class=\"ez-toc-section\" id=\"Ekonomiskas_ir_tausojantis_aplinka\"><\/span>Ekonomi\u0161kas ir tausojantis aplink\u0105<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>\u201eLlama 3.3\u201c yra specialiai optimizuota ekonomi\u0161kai efektyvioms i\u0161vadoms, o \u017eeton\u0173 generavimo i\u0161laidos yra tik 0,01 USD u\u017e milijon\u0105 \u017eeton\u0173. <\/p>\n\n\n\n<p>D\u0117l to modelis yra labai konkurencingas su pramon\u0117s partneriais, tokiais kaip GPT-4 ir Claude 3.5, o k\u016br\u0117jams, norintiems diegti sud\u0117tingus dirbtinio intelekto sprendimus, jis yra labiau prieinamas.<\/p>\n\n\n\n<p>\u201eMeta\u201c taip pat pabr\u0117\u017e\u0117 \u0161ios laidos atsakomyb\u0119 aplinkai. Nepaisant intensyvaus mokymo proceso, bendrov\u0117 panaudojo atsinaujinan\u010di\u0105 energij\u0105, kad kompensuot\u0173 \u0161iltnamio efekt\u0105 sukelian\u010di\u0173 duj\u0173 i\u0161metim\u0105, tod\u0117l mokymo etapo grynasis i\u0161metam\u0173j\u0173 ter\u0161al\u0173 kiekis yra lygus nuliui. Pagal viet\u0105 i\u0161metam\u0173 ter\u0161al\u0173 kiekis sudar\u0117 11 390 ton\u0173 CO2 ekvivalento, ta\u010diau \u201eMeta\u201c atsinaujinan\u010dios energijos iniciatyvos u\u017etikrino tvarum\u0105.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-advanced-features-and-deployment-options\"><span class=\"ez-toc-section\" id=\"Isplestines_funkcijos_ir_diegimo_parinktys\"><\/span>I\u0161pl\u0117stin\u0117s funkcijos ir diegimo parinktys<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Modelis pristato kelet\u0105 patobulinim\u0173, \u012fskaitant ilgesn\u012f kontekstin\u012f 128 000 \u017eeton\u0173 lang\u0105 (palyginti su GPT-4o, apie 400 puslapi\u0173 knygos teksto), tod\u0117l jis tinkamas ilgos formos turinio generavimui ir kitiems pa\u017eangiems naudojimo atvejams. <\/p>\n\n\n\n<p>Jo architekt\u016bra apima grupuotos u\u017eklausos d\u0117mes\u012f (GQA), pagerinan\u010di\u0105 mastel\u012f ir na\u0161um\u0105 atliekant i\u0161vadas.<\/p>\n\n\n\n<p>Sukurta taip, kad atitikt\u0173 naudotoj\u0173 saugumo ir naudingumo nuostatas, \u201eLlama 3.3\u201c naudoja mokym\u0105si su \u017emogaus atsiliepimais (RLHF) ir pri\u017ei\u016brimu koregavimu (SFT). \u0160is suderinimas u\u017etikrina tvirtus netinkam\u0173 raginim\u0173 atsisakymus ir \u012f asistent\u0105 pana\u0161\u0173 elges\u012f, optimizuot\u0105 realaus pasaulio programoms.<\/p>\n\n\n\n<p>\u201eLlama 3.3\u201c jau galima atsisi\u0173sti per \u201eMeta\u201c, \u201eHugging Face\u201c, \u201eGitHub\u201c ir kitas platformas su integravimo galimyb\u0117mis tyr\u0117jams ir k\u016br\u0117jams. \u201eMeta\u201c taip pat si\u016blo tokius i\u0161teklius kaip \u201eLlama Guard 3\u201c ir \u201ePrompt Guard\u201c, kad pad\u0117t\u0173 vartotojams saugiai ir atsakingai \u012fdiegti model\u012f.<\/p>\n<div id=\"boilerplate_2660155\" class=\"post-boilerplate boilerplate-after\"><div class=\"Boilerplate__newsletter-container\">\n<div class=\"Boilerplate__newsletter-main\">\n<p><strong>VB dienra\u0161tis<\/strong><\/p>\n<p>B\u016bkite \u017einomi! Kasdien gaukite paskutines naujienas savo pa\u0161to d\u0117\u017eut\u0117je<\/p>\n<p class=\"Form__newsletter-legal\">Prenumeruodami sutinkate su \u201eVentureBeat\u201c paslaug\u0173 teikimo s\u0105lygomis.<\/p>\n<p class=\"Form__success\" id=\"boilerplateNewsletterConfirmation\">\n<p>\t\t\t\t\tA\u010di\u016b, kad u\u017esiprenumeravote. Daugiau VB naujienlai\u0161ki\u0173 rasite \u010dia.\n\t\t\t\t<\/p>\n<p class=\"Form__error\">\u012evyko klaida.<\/p>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\t\t\t<\/div>\r\n<br>\r\n<br><a href=\"https:\/\/venturebeat.com\/ai\/meta-launches-open-source-llama-3-3-shrinking-powerful-bigger-model-into-smaller-size\/\">Source link <\/a>","protected":false},"excerpt":{"rendered":"<p>Prisijunkite prie m\u016bs\u0173 kasdieni\u0173 ir savaitini\u0173 naujienlai\u0161ki\u0173, kad gautum\u0117te naujausi\u0173 naujien\u0173 ir i\u0161skirtinio turinio apie pramon\u0117je pirmaujan\u010di\u0105 AI apr\u0117pt\u012f. Su\u017einokite&hellip;<\/p>\n","protected":false},"author":1,"featured_media":482,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[167],"tags":[],"class_list":["post-481","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts\/481","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/comments?post=481"}],"version-history":[{"count":0,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts\/481\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/media\/482"}],"wp:attachment":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/media?parent=481"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/categories?post=481"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/tags?post=481"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}