<\/span><\/h2>\nFilosofija, kuria vadovaujasi Mamba-3, yra esminis pokytis, kaip mes galvojame apie AI "intelektas" palyginti su aparat\u016bros, kurioje ji veikia, grei\u010diu. Ankstesn\u0117 karta Mamba-2 buvo skirta treniruotis rekordiniu grei\u010diu, o Mamba-3 yra "i\u0161vada-pirmiausia" architekt\u016bra \u2013 i\u0161vada, nurodanti, kaip AI modeliai pateikiami galutiniams vartotojams, naudojant tokias svetaines kaip \u201eChatGPT\u201c ar \u201eGoogle Gemini\u201c, arba per program\u0173 programavimo s\u0105sajas (API).<\/p>\n
Pagrindinis \u201eMamba 3\u201c tikslas yra maksimaliai i\u0161naudoti kiekvien\u0105 sekund\u0119, kai kompiuterio lustas (GPU) yra aktyvus, u\u017etikrinant, kad modelis kuo labiau m\u0105styt\u0173, never\u010diant vartotojo laukti atsakymo.<\/p>\n
Kalbos modeli\u0173 pasaulyje kiekvienas tikslumo ta\u0161kas yra sunkiai pasiekiamas. 1,5 milijardo parametr\u0173 skal\u0117je \u2013 pa\u017eangiausias "MIMO" Mamba-3 variantas pasiek\u0117 57,6 % vidutin\u012f etalon\u0173 tikslum\u0105, o tai yra 2,2 procentinio punkto \u0161uolis, palyginti su standartiniu pramon\u0117s transformatoriumi. <\/p>\n
Nors dviej\u0173 ta\u0161k\u0173 \u0161uolis gali atrodyti kuklus, jis i\u0161 tikr\u0173j\u0173 rei\u0161kia beveik 4% santykin\u012f kalbos modeliavimo paj\u0117gum\u0173 padid\u0117jim\u0105, palyginti su Transformer bazine linija. Dar \u012fsp\u016bdingiau, kaip min\u0117ta pirmiau, Mamba-3 gali prilygti nusp\u0117jamai savo pirmtako kokybei, naudodama tik pus\u0119 vidin\u0117s "valstyb\u0117s dydis," efektyviai u\u017etikrina tok\u012f pat\u012f intelekto lyg\u012f su \u017eymiai ma\u017eesniu atminties v\u0117lavimu.<\/p>\n
Daugel\u012f met\u0173 veiksmingos \u201eTransformeri\u0173\u201c alternatyvos kent\u0117jo nuo a "logikos spraga"\u2013 jiems da\u017enai nepavykdavo atlikti paprastas samprotavimo u\u017eduotis, pavyzd\u017eiui, sekti \u0161ablonus ar i\u0161spr\u0119sti pagrindin\u0119 aritmetik\u0105, nes j\u0173 vidin\u0117 matematika buvo per grie\u017eta. Mamba-3 tai i\u0161sprend\u017eia \u012fvesdama sud\u0117tingos vert\u0117s b\u016bsenas. <\/p>\n
\u0160is matematinis atnaujinimas veikia kaip vidinis kompasas, leid\u017eiantis modeliui pavaizduoti "rotacinis" logika. Naudodamiesi \u0161iuo "sukamieji" Mamba-3 gali beveik tobulai i\u0161spr\u0119sti loginius galvos\u016bkius ir b\u016bsenos sekimo u\u017eduotis, apie kurias jo pirmtakai gal\u0117jo tik sp\u0117lioti, pagaliau prilygindamas tiesini\u0173 modeli\u0173 protavimo gali\u0105 pa\u017eangiausioms sistemoms.<\/p>\n
Paskutin\u0117 d\u0117lion\u0117s dalis yra tai, kaip Mamba-3 s\u0105veikauja su fizine aparatine \u012franga. Dauguma AI modeli\u0173 \u0161iandien yra "prikaustytas prie atminties," rei\u0161kia, kad kompiuterio lustas did\u017ei\u0105j\u0105 laiko dal\u012f praleid\u017eia nenaudojamas, laukdamas, kol duomenys i\u0161 atminties persikels \u012f procesori\u0173. <\/p>\n
Mamba-3 pristato Multi-Input, Multi-Output (MIMO) formul\u0119, kuri i\u0161 esm\u0117s kei\u010dia \u0161i\u0105 dinamik\u0105. Atlikdama iki keturi\u0173 kart\u0173 daugiau matematini\u0173 operacij\u0173 lygiagre\u010diai kiekviename \u017eingsnyje, Mamba-3 panaudoja anks\u010diau "tu\u0161\u010di\u0105ja eiga" galia. Tai leid\u017eia modeliui padaryti daug daugiau "m\u0105stymas" u\u017e kiekvien\u0105 sugeneruot\u0105 \u017eod\u012f nepailgindamas faktinio laiko, kur\u012f vartotojas praleid\u017eia laukdamas atsakymo. Daugiau apie juos \u017eemiau.<\/p>\n
<\/span>Trys nauji technologiniai \u0161uoliai<\/b><\/span><\/h2>\nLinijini\u0173 modeli\u0173 patrauklumas visada buvo nuolatiniai atminties reikalavimai ir tiesinis skai\u010diavimo mastelio keitimas.<\/p>\n
Ta\u010diau, kaip pa\u017eymi Mamba 3 autoriai, yra "nemokam\u0173 piet\u0173 n\u0117ra". Nustatydami b\u016bsenos dyd\u012f, kad b\u016bt\u0173 u\u017etikrintas efektyvumas, \u0161ie modeliai yra priversti suspausti vis\u0105 istorin\u012f kontekst\u0105 \u012f vien\u0105 atvaizd\u0105 \u2013 tai visi\u0161kai prie\u0161inga nuolat augan\u010diai transformatoriaus KV talpyklai. Mamba-3 patraukia tris konkre\u010dias svirtis, kad ta fiksuota b\u016bsena veikt\u0173 daugiau.<\/p>\n
<\/span>1. Eksponentin\u0117-trapecin\u0117 diskretizacija<\/b><\/span><\/h4>\nB\u016bsenos erdv\u0117s modeliai i\u0161 esm\u0117s yra nuolatinio laiko sistemos, kurios turi b\u016bti "diskretizuotas" tvarkyti atskiras skaitmenini\u0173 duomen\u0173 sekas. <\/p>\n
Buvo remiamasi ankstesn\u0117mis iteracijomis "Eksponentinis-Euleris" diskretizacija \u2013 euristika, pateikusi tik pirmos eil\u0117s sistemos aproksimacij\u0105.<\/p>\n
Mamba-3 pristato a apibendrinta trapecijos taisykl\u0117<\/b>pateikiantis antros eil\u0117s tiksl\u0173 aproksimacij\u0105. Tai ne tik matematinis patikslinimas; tai sukelia an "numanoma konvoliucija" pagrindinio pasikartojimo ribose. <\/p>\n
Sujung\u0119 tai su ai\u0161kiais B ir C \u0161ali\u0161kumo terminais, mokslininkai sugeb\u0117jo pa\u0161alinti trump\u0105 prie\u017eastin\u012f ry\u0161\u012f, kuris daugel\u012f met\u0173 buvo pasikartojan\u010di\u0173 architekt\u016br\u0173 pagrindas.<\/p>\n
<\/span>2. Sud\u0117tingos vert\u0117s SSM ir "Virv\u0117s triukas"<\/b><\/span><\/h4>\nViena i\u0161 atkakliausi\u0173 linijini\u0173 modeli\u0173 kritikos buvo j\u0173 nesugeb\u0117jimas i\u0161spr\u0119sti paprast\u0173 b\u016bsenos sekimo u\u017eduo\u010di\u0173, toki\u0173 kaip bit\u0173 sekos pariteto nustatymas. <\/p>\n
\u0160is gedimas kyla d\u0117l to, kad per\u0117jimo matrica apribojama iki reali\u0173 skai\u010di\u0173, o tai neleid\u017eia modeliui pateikti "rotacinis" dinamika.Mamba-3 \u012fveikia tai, matydamas pagrindin\u012f SSM kaip sud\u0117ting\u0105.<\/p>\n
Naudojant tai, k\u0105 komanda vadina "Virv\u0117s triukas<\/b>," jie parodo, kad kompleksin\u0117s vert\u0117s b\u016bsenos atnaujinimas yra matemati\u0161kai lygiavertis nuo duomen\u0173 priklausomam sukamajam \u012fterpimui (RoPE), taikomam \u012fvesties ir i\u0161vesties projekcijoms. <\/p>\n
Tai leid\u017eia Mamba-3 i\u0161spr\u0119sti sintetines samprotavimo u\u017eduotis, kurios Mamba-2 buvo ne\u012fmanomos.<\/p>\n
<\/span>3. MIMO: Aritmetinio intensyvumo didinimas<\/b><\/span><\/h4>\nDid\u017eiausias i\u0161vad\u0173 efektyvumo \u0161uolis atsiranda d\u0117l per\u0117jimo nuo vienos \u012fvesties, vienos i\u0161vesties (SISO) prie Keli\u0173 \u012f\u0117jim\u0173, keli\u0173 i\u0161\u0117jim\u0173 (MIMO)<\/b> SSM. <\/p>\n
Standartiniame SSM b\u016bsenos atnaujinimas yra i\u0161orinio produkto operacija, kuri yra labai susieta su atmintimi. Perjungus \u012f matricos daugyba pagr\u012fst\u0105 b\u016bsenos atnaujinim\u0105, Mamba-3 padidina "aritmetinis intensyvumas" modelio \u2013 FLOP ir atminties srauto santykis. <\/p>\n
Tai leid\u017eia modeliui atlikti daugiau skai\u010diavim\u0173 per atmint\u012f susieto dekodavimo faz\u0119. I\u0161 esm\u0117s Mamba-3 naudoja "tu\u0161\u010di\u0105ja eiga" apskai\u010diuokite GPU branduolius, kad padidintum\u0117te modelio gali\u0105 "nemokamai," i\u0161laikant tok\u012f pat\u012f dekodavimo greit\u012f kaip ir paprastesni pirmtakai.<\/p>\n
<\/span>K\u0105 Mamba 3 rei\u0161kia \u012fmon\u0117ms ir AI k\u016br\u0117jams<\/b><\/span><\/h2>\n\u012emon\u0117ms Mamba-3 rei\u0161kia strategin\u012f DI diegimo bendr\u0173j\u0173 nuosavyb\u0117s s\u0105naud\u0173 (TCO) pokyt\u012f.<\/p>\n
\n- \n
Kaina ir na\u0161umas<\/b>: Pagal suderint\u0173 parametr\u0173 veikim\u0105 Mamba-3 (MIMO) atitinka Mamba-2 sud\u0117tingum\u0105, naudodama pus\u0119 b\u016bsenos dyd\u017eio. Diegiant \u012fmon\u0117je, tai veiksmingai padvigubina i\u0161vad\u0173 pralaidum\u0105 tos pa\u010dios aparatin\u0117s \u012frangos plotui.<\/p>\n<\/li>\n- \n
Agentin\u0117s darbo eigos<\/b>: Organizacijoms pereinant prie lygiagre\u010di\u0173 agent\u0173 darbo eig\u0173 (pvz., automatinio kodavimo ar klient\u0173 aptarnavimo agent\u0173 realiuoju laiku), ma\u017eos delsos generavimo poreikis did\u0117ja eksponenti\u0161kai. Mamba-3 sukurtas specialiai tam, kad neleist\u0173 GPU aparatinei \u012frangai s\u0117d\u0117ti "\u0161alta" atliekant \u0161ias u\u017eduotis.<\/p>\n<\/li>\n- \n
Hibridinis prana\u0161umas<\/b>: Tyr\u0117jai prognozuoja, kad \u012fmon\u0117s AI ateitis slypi tame hibridiniai modeliai<\/b>. Sujungdamos Mamba-3 su d\u0117mesiu sau, organizacijos gali derinti efektyvius dalykus "atmintis" SSM su tiksliais "duomen\u0173 baz\u0117je" transformatori\u0173 saugykla.<\/p>\n<\/li>\n<\/ul>\n