{"id":1465,"date":"2025-02-16T00:08:40","date_gmt":"2025-02-16T00:08:40","guid":{"rendered":"https:\/\/naujienaplius.lt\/index.php\/2025\/02\/16\/zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija\/"},"modified":"2025-02-16T00:08:40","modified_gmt":"2025-02-16T00:08:40","slug":"zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija","status":"publish","type":"post","link":"https:\/\/naujienaplius.lt\/index.php\/2025\/02\/16\/zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija\/","title":{"rendered":"\u017dvilgsnis po transfomer\u0173 gaubtu, variklis, vedantis AI modelio evoliucij\u0105"},"content":{"rendered":" \r\n<br><div>\n\t\t\t\t<div id=\"boilerplate_2682874\" class=\"post-boilerplate boilerplate-before\">\n<p><em>Prisijunkite prie m\u016bs\u0173 kasdieni\u0173 ir savaitini\u0173 informacini\u0173 biuleteni\u0173, kad gautum\u0117te naujausius atnaujinimus ir i\u0161skirtin\u012f turin\u012f apie pramon\u0117s \u0161akos pirmaujan\u010di\u0105 AI apr\u0117pt\u012f. Su\u017einokite daugiau<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator has-css-opacity is-style-wide\"\/>\n<\/div><p>\u0160iandien beveik kiekvienas pa\u017eangiausias AI produktas ir modelis naudoja transformatoriaus architekt\u016br\u0105. Dideli kalb\u0173 modeliai (LLM), tokie kaip GPT-4O, LLAMA, GEMINI ir CLAUDE, yra visi \u201eTransformeriai\u201c pagr\u012fsti, ir kitos AI programos, tokios kaip tekstas \u012f kalb\u0105, automatinis kalbos atpa\u017einimas, vaizdo generavimas ir teksto modeliai yra transformatoriai. kaip j\u0173 pagrindin\u0117 technologija.  <\/p>\n\n\n\n<p>Kai AI grei\u010diausiai nesunkys bet kada greitai, laikas duoti \u201eTransformeriai\u201c mok\u0117ti, tod\u0117l nor\u0117\u010diau \u0161iek tiek paai\u0161kinti apie tai, kaip jie veikia, kod\u0117l jie yra tokie svarb\u016bs kei\u010diam\u0173 sprendim\u0173 augimui ir kod\u0117l kod\u0117l Jie yra LLM stuburas.  <\/p>\n\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Turinys:<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/naujienaplius.lt\/index.php\/2025\/02\/16\/zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija\/#Transformatoriai_yra_daugiau_nei_akys\" >Transformatoriai yra daugiau nei akys<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/naujienaplius.lt\/index.php\/2025\/02\/16\/zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija\/#Savarankiskumo_svarba_transformatoriuose\" >Savaranki\u0161kumo svarba transformatoriuose<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/naujienaplius.lt\/index.php\/2025\/02\/16\/zvilgsnis-po-transfomeru-gaubtu-variklis-vedantis-ai-modelio-evoliucija\/#Modeliu_ateitis\" >Modeli\u0173 ateitis<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\" id=\"h-transformers-are-more-than-meets-the-eye\"><span class=\"ez-toc-section\" id=\"Transformatoriai_yra_daugiau_nei_akys\"><\/span>Transformatoriai yra daugiau nei akys <span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Trumpai tariant, transformatorius yra neuroninio tinklo architekt\u016bra, skirta modeliuoti duomen\u0173 sekas, tod\u0117l jie yra ideal\u016bs tokioms u\u017eduotims kaip vertimas \u012f kalb\u0105, sakinio u\u017ebaigimas, automatinis kalbos atpa\u017einimas ir dar daugiau. Transformatoriai i\u0161 tikr\u0173j\u0173 tapo dominuojan\u010dia daugelio \u0161i\u0173 sek\u0173 modeliavimo u\u017eduotims architekt\u016bra, nes pagrindin\u012f d\u0117mesio-mechanizm\u0105 galima lengvai paraleliuoti, leid\u017eiant atlikti did\u017eiul\u012f mast\u0105 treniruot\u0117s ir atliekant i\u0161vadas.  <\/p>\n\n\n\n<p>I\u0161 prad\u017ei\u0173 2017 m. Dokumente \u201eD\u0117mesys yra viskas, ko jums reikia\u201c i\u0161 \u201eGoogle\u201c tyr\u0117j\u0173, \u201eTransformeris\u201c buvo pristatytas kaip kodavimo-dekoderio architekt\u016bra, specialiai skirta kalb\u0173 vertimui. Kitais metais \u201eGoogle\u201c i\u0161leido dvikryp\u010di\u0173 kodavimo \u012frengini\u0173 reprezentacij\u0105 i\u0161 \u201eTransformeri\u0173\u201c (BERT), kurie gal\u0117t\u0173 b\u016bti laikomi vienu i\u0161 pirm\u0173j\u0173 LLM &#8211; nors dabar laikomasi \u0161i\u0173 dien\u0173 standart\u0173. <\/p>\n\n\n\n<p>Nuo to laiko &#8211; ypa\u010d pagreit\u0117j\u0119s atsiradus GPT modeliams i\u0161 \u201eOpenai\u201c &#8211; tendencija buvo mokyti didesnius ir didesnius modelius su daugiau duomen\u0173, daugiau parametr\u0173 ir ilgesni\u0173 kontekstini\u0173 lang\u0173.   <\/p>\n\n\n\n<p>Siekiant palengvinti \u0161i\u0105 raid\u0105, buvo daug naujovi\u0173, toki\u0173 kaip: sud\u0117tingesn\u0117 GPU aparatin\u0117 \u012franga ir geresn\u0117 programin\u0117 \u012franga daugialyp\u0117s GPU mokymui; Technikos, tokios kaip ekspert\u0173 kiekybinis kiekis ir mi\u0161inys (MOE), ma\u017einant atminties sunaudojim\u0105; Nauji mokymo optimizatoriai, tokie kaip \u201eShampoo\u201c ir \u201eAdamw\u201c; Efektyvaus d\u0117mesio apskai\u010diavimo metodai, tokie kaip \u201eFlashatence\u201c ir \u201eKV\u201c talpyklos kaupimas. Tik\u0117tina, kad tendencija t\u0119sis artimiausioje ateityje. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-the-importance-of-self-attention-in-transformers\"><span class=\"ez-toc-section\" id=\"Savarankiskumo_svarba_transformatoriuose\"><\/span>Savaranki\u0161kumo svarba transformatoriuose<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Priklausomai nuo programos, transformatoriaus modelis seka kodavimo-dek\u016bno architekt\u016br\u0105. Koderio komponentas su\u017eino vektori\u0173 duomen\u0173, kurie v\u0117liau gali b\u016bti naudojami paskesn\u0117ms u\u017eduotims, tokioms kaip klasifikacija ir sentiment\u0173 analiz\u0117, vaizdas. Dekoderio komponentas paima vektori\u0173 arba latentin\u012f teksto ar vaizdo vaizdavim\u0105 ir naudoja j\u012f naujam tekstui generuoti, tod\u0117l jis yra naudingas tokioms u\u017eduotims kaip sakinio u\u017ebaigimas ir apibendrinimas. D\u0117l \u0161ios prie\u017easties daugelis pa\u017e\u012fstam\u0173 moderniausi\u0173 modeli\u0173, toki\u0173 kaip GPT \u0161eima, yra tik dekoderis.   <\/p>\n\n\n\n<p>Koderio-dekoderio modeliai sujungia abu komponentus, tod\u0117l jie yra naudingi vertimo ir kitoms sekos iki sekos u\u017eduotims. Tiek kodavimo, tiek dekoderio architekt\u016broms pagrindinis komponentas yra d\u0117mesio sluoksnis, nes tai leid\u017eia modeliui i\u0161laikyti kontekst\u0105 i\u0161 \u017eod\u017ei\u0173, kurie rodomi daug anks\u010diau tekste.  <\/p>\n\n\n\n<p>D\u0117mesys skiriamas dviem skoniais: savireguliacija ir kry\u017eminimas. Savaranki\u0161kas po\u017ei\u016bris naudojamas fiksuoti santykius tarp \u017eod\u017ei\u0173 toje pa\u010dioje sekoje, tuo tarpu kry\u017eminis lankymasis naudojamas fiksuoti ry\u0161ius tarp \u017eod\u017ei\u0173 dviejose skirtingose \u200b\u200bsekose. Kry\u017eminis lankymas jungia kodavimo ir dekoderio komponentus modelyje ir vertimo metu. Pvz., Tai leid\u017eia angli\u0161kam \u017eod\u017eiui \u201ebra\u0161k\u0117ms\u201c susieti su pranc\u016bzi\u0161ku \u017eod\u017eiu \u201efraise\u201c. Matemati\u0161kai tiek sav\u0119s, tiek kry\u017eminimas yra skirtingos matricos daugybos formos, kurias galima padaryti ypa\u010d efektyviai naudojant GPU. <\/p>\n\n\n\n<p>D\u0117l d\u0117mesio sluoksnio transformatoriai gali geriau u\u017efiksuoti ry\u0161ius tarp \u017eod\u017ei\u0173, atskirt\u0173 ilgu teksto kiekiu, tuo tarpu ankstesni modeliai, tokie kaip pasikartojantys neuroniniai tinklai (RNN) ir ilgos trumpalaik\u0117s atminties (LSTM) modeliai, praranda ankstesni\u0173 \u017eod\u017ei\u0173 kontekst\u0105 i\u0161 ankstesni\u0173 \u017eod\u017ei\u0173 konteksto i\u0161 ankstesni\u0173 \u017eod\u017ei\u0173 konteksto. tekste. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-the-future-of-models\"><span class=\"ez-toc-section\" id=\"Modeliu_ateitis\"><\/span>Modeli\u0173 ateitis <span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>\u0160iuo metu transformatoriai yra dominuojanti daugelio naudojimo atvej\u0173 architekt\u016bra, kuriai reikalingi LLM ir gauti naudos i\u0161 daugiausiai tyrim\u0173 ir tobul\u0117jimo. Nors pana\u0161u, kad tai grei\u010diausiai nepasikeis bet kada, viena kitokia modelio klas\u0117, kuri neseniai sulauk\u0117 susidom\u0117jimo, yra valstyb\u0117s ir erdv\u0117s modeliai (SSM), tokie kaip \u201eMamba\u201c. \u0160is labai efektyvus algoritmas gali tvarkyti labai ilgas duomen\u0173 sekas, tuo tarpu transformatorius riboja konteksto langas.  <\/p>\n\n\n\n<p>Man labiausiai \u012fdom\u016bs \u201eTransformer\u201c modeli\u0173 pritaikymai yra multimodaliniai modeliai. Pavyzd\u017eiui, \u201eOpenai\u201c GPT-4O gali tvarkyti tekst\u0105, garso ir vaizdus-ir kiti teik\u0117jai pradeda sekti. Multimodalin\u0117s programos yra labai \u012fvairios, pradedant nuo vaizdo \u012fra\u0161\u0173 antra\u0161t\u0117s iki balso klonavimo iki vaizdo segmentavimo (ir dar daugiau). Jie taip pat suteikia galimyb\u0119 padaryti AI prieinamesn\u0119 ne\u012fgaliesiems. Pvz., Akl\u0105 asmen\u012f gali labai \u012fteikti galimyb\u0117 s\u0105veikauti per balso ir garso komponentus, susijusius su multimodaline programa.  <\/p>\n\n\n\n<p>Tai jaudinanti erdv\u0117, turinti daug galimybi\u0173 atskleisti nauj\u0173 naudojimo atvejus. Ta\u010diau atsiminkite, kad bent jau artimiausioje ateityje daugiausia grind\u017eiami \u201eTransformeri\u0173\u201c architekt\u016bra. <\/p>\n\n\n\n<p><em>Terrence&#8217;as Alsupas yra vyresnysis duomen\u0173 mokslininkas FINASTRA.<br\/><\/em><\/p>\n<div id=\"boilerplate_2736392\" class=\"post-boilerplate boilerplate-after\">\n<p><strong>\u201eDatadecisionMakers\u201c<\/strong><\/p>\n\n\n\n<p>Sveiki atvyk\u0119 \u012f \u201eVentureBeat\u201c bendruomen\u0119!<\/p>\n\n\n\n<p>\u201eDatAdecisionMakers\u201c yra ta vieta, kur ekspertai, \u012fskaitant techninius duomenis atliekan\u010dius \u017emones, gali pasidalyti su duomenimis susijusiomis \u012f\u017evalgomis ir naujov\u0117mis.<\/p>\n\n\n\n<p>Jei norite perskaityti apie pa\u017eangiausias id\u0117jas ir naujausi\u0105 informacij\u0105, geriausi\u0105 praktik\u0105 ir duomen\u0173 bei duomen\u0173 technologijos ateit\u012f, prisijunkite prie m\u016bs\u0173 \u201eDatadecisionMakers\u201c.<\/p>\n\n\n\n<p>Galite net apsvarstyti galimyb\u0119 prisid\u0117ti prie savo straipsnio!<\/p>\n\n\n\n<p>Skaitykite daugiau i\u0161 \u201eDatAdecisionMakers\u201c<\/p>\n<\/div>\t\t\t<\/div>\r\n<br>\r\n<br><a href=\"https:\/\/venturebeat.com\/ai\/a-look-under-the-hood-of-transfomers-the-engine-driving-ai-model-evolution\/\">Source link <\/a>","protected":false},"excerpt":{"rendered":"<p>Prisijunkite prie m\u016bs\u0173 kasdieni\u0173 ir savaitini\u0173 informacini\u0173 biuleteni\u0173, kad gautum\u0117te naujausius atnaujinimus ir i\u0161skirtin\u012f turin\u012f apie pramon\u0117s \u0161akos pirmaujan\u010di\u0105 AI&hellip;<\/p>\n","protected":false},"author":1,"featured_media":1466,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[167],"tags":[],"class_list":["post-1465","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts\/1465","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/comments?post=1465"}],"version-history":[{"count":0,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/posts\/1465\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/media\/1466"}],"wp:attachment":[{"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/media?parent=1465"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/categories?post=1465"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/naujienaplius.lt\/index.php\/wp-json\/wp\/v2\/tags?post=1465"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}