Prisijunkite prie mūsų kasdienių ir savaitinių informacinių biuletenių, kad gautumėte naujausius atnaujinimus ir išskirtinį turinį apie pramonės šakos pirmaujančią AI aprėptį. Sužinokite daugiau
Neseniai vykusioje „NVIDIA GTC“ konferencijoje bendrovė pristatė tai, ką ji apibūdino kaip pirmąją serverių vienkartinių serverių sistemą, galinčią sudaryti vieną „Exaflop“-vieną milijardą milijardo arba kvintilijoną, plaukiojančio taško operacijas (FLOPS) per sekundę. Šis proveržis yra pagrįstas naujausia „GB200 NVL72“ sistema, kurioje yra naujausių „NVIDIA“ „Blackwell“ grafikos apdorojimo įrenginių (GPU). Standartinis kompiuterio stovas yra maždaug 6 pėdų aukščio, šiek tiek daugiau nei 3 pėdų gylio ir mažiau nei 2 pėdų pločio.
Susitraukimas „Exaflop“: nuo pasienio iki Blackwello
Pora dalykų apie pranešimą mane sukrėtė. Pirma, pirmasis pasaulyje naudojamas kompiuteris buvo įrengtas tik prieš kelerius metus, 2022 m., Oak Ridge nacionalinėje laboratorijoje. Palyginimui, „Frontier“ superkompiuterį, kurį sukūrė HPE ir maitina AMD GPU ir CPU, iš pradžių sudarė 74 serverių lentynos. Naujoji „NVIDIA“ sistema per trejus metus pasiekė maždaug 73x didesnį našumo tankį, prilygstančią trigubai didesniam našumui kiekvienais metais. Šis pažanga atspindi didelę skaičiavimo tankio, energijos vartojimo efektyvumo ir architektūrinio projekto pažangą.
Antra, reikia pasakyti, kad nors abi sistemos smogė į „Exascale“ etapą, jos yra sukurtos skirtingais iššūkiais, viena optimizuota greičiui, kita – tikslumui. „NVIDIA“ egzemplioriaus specifikacija yra pagrįsta mažesnio tikslumo matematika-ypač 4 bitų ir 8 bitų plūduriuojančių taškų operacijomis-laikomos optimaliomis AI darbo krūviams, įskaitant tokias užduotis kaip mokymas ir didelių kalbos modelių (LLMS). Šie skaičiavimai teikia pirmenybę greičiui, o ne tikslumui. Priešingai, „Frontier“ „Exaflop“ įvertinimas buvo pasiektas naudojant 64 bitų dvigubo tikslumo matematiką-aukso standartą moksliniam modeliavimui, kai tikslumas yra kritinis.
Mes nuėjome ilgą kelią (labai greitai)
Šis pažangos lygis atrodo beveik neįtikėtinas, ypač todėl, kad prisimenu moderniausią, kai pradėjau savo karjerą skaičiavimo pramonėje. Pirmasis mano profesionalus darbas buvo „DEC KL 1090“ programuotojas. Ši mašina, dalis DEC PDP-10 serijos „Timeshare Mainframs“, pasiūlė 1,8 milijono instrukcijų per sekundę (MIPS). Be savo CPU našumo, mašina, sujungta su „Cathode Ray Tube“ (CRT), rodomas per kietas laidus. Nebuvo jokių grafikos galimybių, tiesiog lengvas tekstas tamsiame fone. Ir, žinoma, nėra interneto. Nuotoliniai vartotojai, prijungti per telefono linijas, naudojant modemus, veikiančius greičiu iki 1 200 bitų per sekundę.
500 milijardų kartų daugiau skaičiavimo
Palyginus MIP su FLOPS suteikia bendrą pažangos jausmą, svarbu atsiminti, kad šios metrikos matuoja skirtingus skaičiavimo darbo krūvius. MIPS atspindi sveikųjų skaičių apdorojimo greitį, kuris yra naudingas bendrosios paskirties skaičiavimui, ypač verslo programose. FLOPS matuojamos kintamojo taško našumas, kuris yra labai svarbus moksliniams darbo krūviams ir sunkiam skaičiui kankinančiam už šiuolaikinio AI, pavyzdžiui, matricos matematikos ir linijinės algebros, naudojamos mašinų mokymosi (ML) modeliams mokyti ir paleisti.
Nors nėra tiesioginis palyginimas, jis yra skirtumas tarp MIP ir FLOPS skalė dabar yra galingas spartus skaičiavimo našumo augimo iliustracija. Naudojant juos kaip grubią euristiką atliktam darbui įvertinti, naujoji „Nvidia“ sistema yra maždaug 500 milijardų kartų galingesnė nei DEC aparatas. Toks šuolis parodo eksponentinį skaičiavimo galios augimą per vieną profesinę karjerą ir kelia klausimą: jei per 40 metų įmanoma padaryti tokią didelę pažangą, ką gali atnešti kiti 5?
Savo ruožtu Nvidia pasiūlė keletą įkalčių. „GTC“ įmonėje bendrovė pasidalino planu, numatančiu, kad jos naujos kartos visos kartos sistema, paremta „Vera Rubin“ ultra architektūra, pateiks 14x „Blackwell Ultra Rack“ gabenimo rezultatus šiais metais, kitais metais pasieks nuo 14 iki 15 „Exaflops“.
Lygiai taip pat pastebimas efektyvumas. Šio lygio viename stove pasiekimas reiškia mažiau fizinės erdvės vienam darbui, mažiau medžiagų ir potencialiai mažesnis energijos sunaudojimas vienai operacijai, nors absoliučios šių sistemų galios poreikiai išlieka didžiulūs.
Ar AI tikrai reikia viso to, kas apskaičiuoja galią?
Nors toks našumo padidėjimas iš tiesų yra įspūdingas, AI pramonė dabar kovoja su esminiu klausimu: kiek skaičiavimo galios yra tikrai reikalinga ir kokia kaina? Varžybas kurti didžiulius naujus AI duomenų centrus lemia augantys „Exascale“ skaičiavimo ir vis daugiau AI modelių poreikiai.
Ambicingiausios pastangos yra 500 milijardų dolerių vertės „Stargate“ projektas, kuris numato 20 duomenų centrų visoje JAV, kiekvienas iš jų siekia pusę milijono kvadratinių pėdų. Vyksta kitų „HyPerscale“ projektų banga arba planavimo etapuose visame pasaulyje, nes įmonės ir šalys siekia užtikrinti, kad jos turi infrastruktūrą, kad paremtų rytojaus AI darbo krūvius.
Kai kurie analitikai dabar nerimauja, kad mes galime per daug kurti AI duomenų centro talpą. Nerimas sustiprėjo po to, kai išleido R1, tai yra Kinijos „Deepseek“ samprotavimo modelis, kuriam reikia žymiai mažiau skaičiavimo nei daugelis jo bendraamžių. Vėliau „Microsoft“ atšaukė nuomą su keliais duomenų centrų teikėjais, sukeldamas spėliones, kad ji gali pakartotinai kalibruoti jos lūkesčius dėl ateities AI infrastruktūros poreikio.
Tačiau Registras pasiūlė, kad šis atsitraukimas gali būti labiau susijęs su kai kuriais planuojamais AI duomenų centrais, neturinčiais pakankamai tvirto sugebėjimo patenkinti naujos kartos AI sistemų galios ir aušinimo poreikius. Jau dabar AI modeliai peržengia ribas, ką gali palaikyti dabartinė infrastruktūra. „MIT Technology Review“ pranešė, kad tai gali būti priežastis, dėl kurios daugelis duomenų centrų Kinijoje stengiasi ir žlunga, nes buvo sukurta pagal specifikacijas, kurios nėra optimalios dabartiniam poreikiui, jau nekalbant apie ateinančių kelerių metų.
AI išvados reikalauja daugiau šlaitų
Priežiūros modeliai didžiąją dalį savo darbo atlieka vykdant procesą, žinomą kaip išvada. Šie modeliai šiandien maitina keletą pažangiausių ir daugiausiai išteklių reikalaujančių programų, įskaitant gilius tyrimų padėjėjus ir kylančias agentų AI sistemų bangas.
Nors „Deepseeek-R1“ iš pradžių spėjo apie pramonę galvojant, kad ateityje gali prireikti AI mažiau „Computing Power“, „NVIDIA“ generalinis direktorius Jensenas Huangas stipriai atsitraukė. Kalbėdamas su CNBC, jis priešinosi šiam suvokimui: „Tai buvo visiškai priešinga išvada, kurią visi padarė“. Jis pridūrė, kad samprotavimai AI sunaudoja 100 kartų daugiau skaičiavimo nei neperduodama AI.
AI ir toliau vystosi nuo samprotavimo modelių iki autonominių agentų ir už jo ribų, tikėtina, kad skaičiavimo poreikis dar kartą padidės. Kiti proveržiai gali įvykti ne tik kalboje ar regėjime, bet ir AI agento koordinavime, suliejimo modeliavime ar net didelio masto skaitmeniniais dvyniais, kuriuos kiekvienas įgalino pagal tokio tipo skaičiavimo galimybių šuolį, kokį mes ką tik matėme.
Atrodo, kad teisinga „Cue“, „Openai“ ką tik paskelbė 40 milijardų dolerių naujų finansavimo, tai yra didžiausias privačių technologijų finansavimo etapas. Bendrovė tinklaraščio įraše teigė, kad finansavimas „suteikia mums galimybę dar labiau pastumti AI tyrimų sienas, padidinti mūsų skaičiavimo infrastruktūrą ir pateikti vis galingesnius įrankius 500 milijonų žmonių, kurie kiekvieną savaitę naudojasi„ ChatGPT “.“
Kodėl tiek kapitalas patenka į AI? Priežastys svyruoja nuo konkurencingumo iki nacionalinio saugumo. Nors išsiskiria vienas konkretus veiksnys, kaip parodo „McKinsey“ antraštė: „AI gali padidinti įmonių pelną 4,4 trilijono USD per metus“.
Kas bus toliau? Tai kas nors spėja
Jų esmėje informacinės sistemos yra susijusios su abstraktavimu, nesvarbu, ar per avarinių transporto priemonių maršrutų sistemą, kurią kadaise rašiau „Fortran“, „COBOL“ pastatyto studentų pasiekimų teikimo įrankio, ar šiuolaikinės AI sistemos, pagreitinančios narkotikų atradimą. Tikslas visada buvo tas pats: geriau suvokti pasaulį.
Dabar, kai pradeda pasirodyti galinga AI, mes peržengiame slenkstį. Pirmą kartą galime turėti skaičiavimo galią ir intelektą spręsti problemas, kurios kažkada buvo už žmogaus pasiekimo.
„New York Times“ žurnalistas Kevinas Roose’as neseniai gerai užfiksavo šią akimirką: „Kiekvieną savaitę aš susitinku su inžinieriais ir verslininkais, dirbančiais AI, kurie man sako, kad pokyčiai-dideli pokyčiai, pokyčiai pasauliui, kokio tipo transformacijos, kurių mes dar nematėme anksčiau-yra visai šalia.“ Ir tai net neskaičiuoja proveržių, kurie atvyksta kiekvieną savaitę.
Tik per pastarąsias kelias dienas mes matėme, kaip „Openai“ GPT-4O sukuria beveik tobulus vaizdus iš teksto, „Google“ išleidžia tai, kas gali būti pažangiausias samprotavimo modelis, dar „Dvynių 2.5“ ir kilimo ir tūpimo tako vaizdo įrašo modelyje su vaizdo modeliu su šūvio personažu ir scenos nuoseklumu, o kažkas „VentureBeat Notes“ iki šiol pateikė daugumą AI vaizdo generatorių.
Tai, kas bus toliau, yra tikrai spėjimas. Nežinome, ar galinga AI bus proveržis, ar suskirstymas, ar tai padės išspręsti sintezės energiją, ar išlaisvinti naują biologinę riziką. Tačiau per ateinančius penkerius metus vis daugiau „Flops“ internete pasirodo, vienas dalykas atrodo tikras: naujovės bus greitai ir su jėga. Taip pat akivaizdu, kad kaip skalūnų mastas, taip pat ir mūsų pokalbiai apie atsakomybę, reguliavimą ir suvaržymą.
Gary Grossmanas yra Edelmano technologijos praktikos ir „Edelman AI“ kompetencijos centro „Global“.
Source link
