"Project DIGITS" maitina "NVIDIA GB10 Grace Blackwell Superchip", užtikrinantis eksalygmens slankiojo kablelio dirbtinio intelekto našumą energiją taupančia ir kompaktiška forma. Turėdami iš anksto įdiegtą NVIDIA AI programinės įrangos paketą ir 128 GB atminties, kūrėjai gali lokaliai prototipuoti, tiksliai sureguliuoti ir pagrįsti didelius AI modelius su iki 200 B parametrų ir sklandžiai įdiegti juos duomenų centruose arba debesyje.
Oficiali svetainė:Hipersaito prisijungimas matomas.
Daugiau įvado:Hipersaito prisijungimas matomas.
GB10 superlustas užtikrina efektyvų dirbtinio intelekto veikimą eksabaitais
GB10 superlustas yra lustinė sistema (SoC), pagrįsta NVIDIA Grace Blackwell architektūra, užtikrinanti iki 100 trilijonų dirbtinio intelekto našumą FP4 tikslumu.
GB10, maitinamas NVIDIA Blackwell GPU, aprūpintas naujausios kartos CUDA® branduoliais ir penktos kartos Tensor branduoliais, prijungtais prie didelio našumo NVIDIA Grace™ procesorių per NVLink-C2C ® lusto ir lusto jungtis, įskaitant 20 energiją taupančių branduolių, sukurtų naudojant Arm architektūrą. "MediaTek", "Arm" pagrįsto SoC dizaino rinkos lyderė, dalyvavo kuriant GB10, prisidėdama prie geriausio savo klasėje energijos vartojimo efektyvumo, našumo ir ryšio.
GB10 superlustas leidžia Project DIGITS užtikrinti galingą našumą naudojant tik standartinį maitinimo lizdą. Kiekvienas "Project DIGITS" turi 128 GB vieningos, nuoseklios atminties ir iki 4 TB NVMe atminties. Naudodami šį superkompiuterį kūrėjai gali paleisti didelius kalbos modelius su iki 200 milijardų parametrų, taip pagerindami dirbtinio intelekto naujoves. Be to, naudojant "NVIDIA ConnectX ®" tinklą, galima prijungti du "Project DIGITS AI" superkompiuterius, kad būtų galima paleisti modelius su iki 405 milijardų parametrų.
──────
1. Trumpa informacija
──────
"Project Digits" dirbtinio intelekto greitintuvo kortelė gali turėti šias nuostabias specifikacijas:
• 128 GB vaizdo atmintis
• Apie 512 GB/s pralaidumas
• Apie 250 TFLOPS (fp16)
• Pardavimo kaina gali būti apie 3000 USD
Kai kurie žmonės lygina jį su "Apple" M4 Pro/Max ir pagrindiniais rinkoje esančiais GPU ir mini šiek tiek rinkodaros šūkį "1 PFLOPS", tačiau tikrąją efektyvią skaičiavimo galią reikia atidžiai pasverti.
─────────
2. Pagrindiniai parametrai ir reikšmė
─────────
1. Slankiojo kablelio skaičiavimo galia (FLOPS)
• 250 TFLOPS (fp16) skamba viliojančiai, tačiau techninė ir programinė įranga veikia kartu, kad iš tikrųjų padarytų skirtumą.
• "1 PFLOPS" paprastai reiškia teorinį piką mažesnio tikslumo režimu arba tai taip pat gali būti įprastas "skaičių žaidimas" reklamoje.
2. Vaizdo atmintis / vieninga atmintis (128 GB)
• Įvairiems dirbtinio intelekto modeliams vaizdo atminties talpa yra pagrindinis rodiklis, rodantis, kad modelis gali tilpti; 128 GB pakanka išvadoms ir vidutinio masto mokymams palaikyti.
• Treniruodami 10 ~ 20B parametrų modelį (ar daugiau), naudokite maišymo tikslumą arba tikslaus derinimo metodus, kad išnaudotumėte visas šios didelės atminties galimybes.
3. Atminties pralaidumas (~512 GB/s)
• Pralaidumas lemia, ar skaičiavimo branduolys gali "suvalgyti duomenis".
• Nors ir nėra toks geras kaip duomenų centro lygis (1 TB/s ~ 2 TB/s ar daugiau), jis jau yra aukštas asmeninio / darbo vietos lygio platformos lygis.
• Ar skaičiavimo galia ir pralaidumas yra subalansuoti, taip pat priklauso nuo talpyklos / operatoriaus optimizavimo architektūroje. Gali nepakakti pažvelgti į skaičius, bet taip pat pažvelgti į tikrąjį bėgimo rezultatą.
4. Kaina ir ekologija
• Viena maždaug 3,000 USD kortelė (jei tiesa) yra patraukli daugeliui kūrėjų ar mažų komandų; Tai yra potencialus konkurencijos taškas su vartotojų klasės aukščiausios klasės GPU, tokiais kaip RTX 4090.
• Tačiau jei programinės įrangos krūva (tvarkyklės, kompiliatoriai, gilaus mokymosi sistemos) nėra tobula, didelė skaičiavimo galia vis tiek gali "atsigulti ir valgyti pelenus".
───────────
3. Poveikis didelių modelių užduotims
───────────
1. Didelio modelio samprotavimai
• 128 GB vaizdo atminties pakanka palaikyti milijardus ar dešimtis milijardų parametrų modelių, "įkeltų į atmintį vienu metu" pusiau tikslumo arba kvantiniu režimu, o išvadų efektyvumas greičiausiai bus gana didelis.
• Jei pralaidumas ir talpykla gali būti naudojami gerai, delsa ir pralaidumas išvados metu gali būti patenkinami.
2. Mažos ir vidutinės apimties mokymas
• Modeliuose, kuriuose yra nuo šimtų milijonų iki milijardų parametrų, šioje kortelėje galima vykdyti visą proceso mokymą nevienodu tikslumu.
• 30B ~ 70B modeliams paprastai reikalingi kvantavimo metodai arba kelių kortelių lygiagretumas, tačiau mažoms komandoms tai vis tiek yra pigesnis metodas nei brangūs duomenų centrų sprendimai.
3. Pralaidumo kliūtys ir skaičiavimo galios švaistymas
• 250 TFLOPS reikalauja efektyvaus duomenų tiekimo, kad būtų visiškai išnaudotas.
• 512 GB/s nėra "mažas skaičius", tačiau ar jis tikrai gali veikti visa skaičiavimo galia, priklauso nuo išmatuoto ir operatoriaus lygio derinimo.
────────────
4. Trumpas palyginimas su kitomis galimybėmis
────────────
1. Apple M4 serija
• M4 Pro/Max taip pat žinomas dėl didelio pralaidumo ir didelės skaičiavimo galios; Tačiau kalbant apie faktinį sistemos suderinamumą ir gilaus mokymosi optimizavimą, jis dar neprilygsta NVIDIA.
• Jei "Project Digits" neturi brandžios ekosistemos, ji taip pat gali sekti "Apple" GPU pėdomis. Kad ir kokia gera būtų aparatinė įranga, sunku prasiveržti, jei nėra programinės įrangos pritaikymo.
2. NVIDIA darbalaukio kortelė (pvz., RTX 4090)
•RTX 4090 turi didelę skaičiavimo galią ir didelį pralaidumą, tačiau kai kuriuose dideliuose modeliuose bus "ištempta" tik 24 GB.
• Kai lygiagrečiai reikalingos kelios kortelės, kaina ir energijos suvartojimas smarkiai padidėja, todėl akivaizdu, kad "Project Digits" patogiau vienoje kortelėje suteikti 128 GB.
3. Duomenų centro GPU (A100 / H100)
•Šie didžiojo brolio lygio GPU kainuoja dešimtis tūkstančių ar net dešimtis tūkstančių dolerių, o našumas ir ekologija yra neabejotini, tačiau ne visi gali sau tai leisti.
•Jei "Projekto skaitmenys" tikrai gali leisti mažoms komandoms turėti didelę vaizdo atmintį ir didelę skaičiavimo galią su žemesniu slenksčiu, ji gali gauti pyrago gabalėlį.
──────────
5. Galimi iššūkiai ir rūpesčiai
──────────
1. Programinės įrangos ekologija ir tvarkyklės branda
• CUDA yra slaptas NVIDIA ginklas. Neturint panašios tvirtos ekosistemos, "Project Digits" sunku populiarinti dideliu mastu.
2. Faktinis skaičiavimo galios / pralaidumo greitis
• Faktinis veikiantis operatorius turi daug atminties prieigos režimų, o jei trūksta optimizavimo, didžiausias našumas gali likti tik reklaminėje medžiagoje.
3. Energijos suvartojimas, šilumos išsklaidymas ir prisitaikymas prie aplinkos
• Didelė vaizdo atmintis ir didelė skaičiavimo galia dažnai reiškia dideles energijos sąnaudas. Jei asmeninės ar mažos darbo vietos nėra pasirengusios šilumos išsklaidymui, jos gali susidurti su "maža virykle".
4. Tiekimo ir kainodaros autentiškumas
• Stebėkite, ar ateityje bus daugiau oficialios informacijos ar tikrų produktų apžvalgų; Jei tai tik koncepcinis produktas, tai taip pat gali būti "tuščias džiaugsmas".
─────
6. Santrauka
─────
Jei "Project Digits" gali pasiūlyti 128 GB vaizdo atminties ir 250 TFLOPS (fp16), plius draugišką kainą apie 3,000 USD, jis bus labai patrauklus kūrėjams, norintiems įdiegti vidutinio dydžio modelius vietoje arba mažose laboratorijose.
Tačiau aparatūros parametrai vis dėlto yra tik viena pusė; Raktas į sėkmę ar nesėkmę yra tvarkyklė, kompiliatorius, gilaus mokymosi sistema ir kitas programinės įrangos palaikymas.
Šiuo metu šis projektas vis dar yra "naujausių naujienų" ir "viešumo" stadijoje, o ar jis gali supurtyti esamą rinkos modelį, priklauso nuo tolesnio produktyvizacijos proceso ir realaus našumo balo.
|
Publikuota: 2025-2-13 09:43:00
|
|
|
|
Savininkas|
Publikuota: 2025-2-21 14:16:38
|
