Projekt DIGITS poganja NVIDIA GB10 Grace Blackwell Superchip, ki zagotavlja eksaskalno zmogljivost z umetno inteligenco s plavajočo vejico v energetsko učinkoviti in kompaktni obliki. S prednameščenim NVIDIA AI programskim skladom in 128 GB pomnilnika lahko razvijalci lokalno prototipizirajo, natančno prilagajajo in razmišljajo velike AI modele z do 200B parametri ter jih brezhibno nameščajo v podatkovne centre ali oblak.
Uradna spletna stran:Prijava do hiperpovezave je vidna.
Več uvoda:Prijava do hiperpovezave je vidna.
Superčip GB10 zagotavlja izjemno učinkovito zmogljivost umetne inteligence
GB10 Superchip je sistem na čipu (SoC), ki temelji na arhitekturi NVIDIA Grace Blackwell in zagotavlja do 100 bilijonov zmogljivosti umetne inteligence z natančnostjo FP4.
GB10, ki ga poganjajo NVIDIA Blackwell GPU-ji, je opremljen z najnovejšo generacijo CUDA® jeder in peto generacijo Tensor jeder, povezanimi z visokozmogljivimi NVIDIA Grace™ procesorji preko NVLink-C2C ® čip-po-čip povezav, vključno z 20 energetsko varčnimi jedri, zgrajenimi z arhitekturo Arm. MediaTek, vodilni na trgu na področju zasnove SoC na osnovi Arm, je sodeloval pri zasnovi GB10, kar je prispevalo k njegovi najboljši energetski učinkovitosti, zmogljivosti in povezljivosti.
Superčip GB10 omogoča Project DIGITS zagotavljanje zmogljive zmogljivosti z uporabo le standardne vtičnice. Vsak Project DIGITS ima 128GB enotnega, doslednega pomnilnika in do 4TB NVMe pomnilnika. S tem superračunalnikom lahko razvijalci poganjajo velike jezikovne modele z do 200 milijardami parametrov, kar izboljšuje inovacije v umetni inteligenci. Poleg tega je mogoče z uporabo omrežja NVIDIA ConnectX ® povezati dva superračunalnika Project DIGITS AI za izvajanje modelov z do 405 milijardami parametrov.
──────
1. Kratek pregled
──────
AI pospeševalna kartica iz "Project Digits" lahko vsebuje naslednje izjemne specifikacije:
• 128 GB video pomnilnika
• Približno 512 GB/s pasovna širina
• Približno 250 TFLOPS (fp16)
• Prodajna cena je lahko okoli 3000 $
Nekateri ga primerjajo z Applovim M4 Pro/Max in običajnimi grafičnimi karticami na trgu ter omenjajo rahlo marketinški slogan "1 PFLOPS", vendar je treba dejansko učinkovito računalniško moč skrbno tehtati.
─────────
2. Osnovni parametri in pomen
─────────
1. Računalniška moč s plavajočo vejico (FLOPS)
• 250 TFLOPS (fp16) se sliši mamljivo, a strojna in programska oprema sodelujeta in resnično naredita razliko.
• "1 PFLOPS" običajno pomeni teoretični vrh v načinu z nižjo natančnostjo ali pa je lahko tudi običajna "igra številk" v oglaševanju.
2. Video pomnilnik/enotni pomnilnik (128 GB)
•Za različne modele umetne inteligence je kapaciteta video pomnilnika ključni pokazatelj "sposobnosti prilagajanja modela"; 128 GB je dovolj za podporo sklepanju in srednjem obsegu usposabljanja.
• Pri učenju modela s 10~20B parametri (ali več) uporabite tehnike natančnosti mešanja ali finega nastavljanja, da iz tega velikega pomnilnika iztržite največ.
3. Pasovna širina pomnilnika (~512 GB/s)
• Pasovna širina določa, ali lahko računalniško jedro "požre podatke".
•Čeprav ni tako dobra kot na ravni podatkovnega centra (1 TB/s~2 TB/s ali več), je že visoka raven za osebno/delovno platformo.
• Ali sta računska moč in pasovna širina uravnoteženi, je odvisno tudi od optimizacije predpomnilnika/operatorja v arhitekturi. Morda ni dovolj, da pogledamo številke, ampak tudi dejanski tekaški rezultat.
4. Cena in ekologija
• Ena sama kartica v vrednosti okoli 3.000 $ (če je res) je privlačna za mnoge razvijalce ali manjše ekipe; To je potencialna konkurenca potrošniškim visokozmogljivim grafičnim karticam, kot je RTX 4090.
• Če pa programski sklad (gonilniki, prevajalniki, okvirji za globoko učenje) ni popoln, lahko visoka računska moč še vedno "leži in poje pepel".
───────────
3. Vpliv na velike modelne naloge
───────────
1. Sklepanje z velikim modelom
• 128 GB video pomnilnika je dovolj za podporo milijardam do deset milijardam modelov parametrov, "naloženih v pomnilnik naenkrat" v polovični natančnosti ali kvantiziranem načinu, učinkovitost sklepanja pa je verjetno precej visoka.
• Če je mogoče pasovno širino in predpomnilnik dobro izkoristiti, sta lahko zakasnitev in prepustnost med sklepanjem zadovoljiva.
2. Usposabljanje na majhnem in srednjem obsegu
• Za modele s stotinami milijonov do milijard parametrov je mogoče celoten proces izvajati z mešano natančnostjo na tej kartici.
• Za modele 30B~70B so običajno potrebne kvantizacijske tehnike ali večkartični paralelizem, vendar je za majhne ekipe to še vedno cenovno ugodnejša metoda kot drage rešitve podatkovnih centrov.
3. Ozka grla pasovne širine in izguba računalniške moči
• 250 TFLOPS zahteva učinkovito oskrbo podatkov za popolno uporabo.
• 512 GB/s ni "majhna številka", vendar je odvisno od merjenega in operaterskega nastavljanja, ali lahko res poganja polno računalniško moč.
────────────
4. Kratka primerjava z drugimi možnostmi
────────────
1. Serija Apple M4
• M4 Pro/Max je znan tudi po visoki pasovni širini in visoki računski moči; Vendar pa glede dejanske združljivosti ogrodja in optimizacije globokega učenja še ni na ravni NVIDIA.
• Če "Project Digits" nima zrelega ekosistema, lahko sledi stopinjam Applovih grafičnih procesorjev. Ne glede na to, kako dobra je strojna oprema, je težko prebiti se, če programska prilagoditev ni na mestu.
2. NVIDIA namizna kartica (kot RTX 4090)
• RTX 4090 ima močno računalniško moč in precejšnjo pasovno širino, vendar bo pri nekaterih velikih modelih "raztegnjenih" le 24 GB.
• Ko je potrebnih več kartic vzporedno, se stroški in poraba energije močno povečata, zato je za "Project Digits" očitno bolj priročno, da na eni kartici zagotovijo 128 GB.
3. GPU podatkovnega centra (A100/H100)
• Ti GPU-ji na ravni večjega brata stanejo desetine tisoč ali celo deset tisoč dolarjev, zmogljivost in ekologija pa sta neizpodbitni, a si jih ne more privoščiti vsak.
• Če lahko "Project Digits" res omogoči majhnim ekipam veliko video pomnilnika in visoko računalniško moč z nižjim pragom, bi morda lahko dobila svoj delež.
──────────
5. Potencialni izzivi in skrbi
──────────
1. Programska ekologija in zrelost gonilnikov
• CUDA je skrivno orožje NVIDIA. Brez podobnega trdnega ekosistema je težko "Project Digits" popularizirati v velikem obsegu.
2. Dejanska hitrost prihoda računske moči/pasovne širine
• Dejanski delujoči operater ima veliko načinov dostopa do pomnilnika, in če primanjkuje optimizacije, lahko vrhunska zmogljivost ostane le v promocijskih materialih.
3. Poraba energije, odvajanje toplote in prilagajanje okolju
• Velik video pomnilnik in visoka računska moč pogosto pomenita visoko porabo energije. Če osebne ali majhne delovne postaje niso pripravljene na odvajanje toplote, se lahko soočijo z "majhno pečjo".
4. Avtentičnost dobave in cen
• Opazovati, ali bo v prihodnosti na voljo več uradnih informacij ali resničnih ocen izdelkov; Če gre le za konceptualni izdelek, je lahko tudi "prazna radost".
─────
6. Povzetek
─────
Če bo "Project Digits" lahko ponudil 128 GB video pomnilnika in 250 TFLOPS (fp16), plus ugodno ceno okoli 3.000 $, bo zelo privlačen za razvijalce, ki želijo uvajati srednje velike modele lokalno ali v majhnih laboratorijih.
Vendar pa so strojni parametri le ena stran; Ključ do uspeha ali neuspeha je gonilnik, prevajalnik, okvir za globoko učenje in druga programska podpora.
Trenutno je ta projekt še vedno v fazi "najnovejših novic" in "promocije", in ali lahko pretrese obstoječi tržni vzorec, je odvisno od kasnejšega procesa produktizacije in dejanske ocene uspešnosti.
|
Objavljeno 2025-2-13 09:43:00
|
|
|
|
Najemodajalec|
Objavljeno 2025-2-21 ob 14:16:38
|
