Project DIGITS-i toidab NVIDIA GB10 Grace Blackwell Superchip, mis pakub eksaskaala ujukoma-AI jõudlust energiatõhusas ja kompaktses vormis. Eelinstalleeritud NVIDIA AI tarkvarapaki ja 128GB mäluga saavad arendajad lokaalselt prototüüpida, peenhäälestada ja põhjendada suuri tehisintellekti mudeleid kuni 200B parameetriga ning neid sujuvalt andmekeskustesse või pilve juurutada.
Ametlik veebileht:Hüperlingi sisselogimine on nähtav.
Rohkem sissejuhatust:Hüperlingi sisselogimine on nähtav.
GB10 superkiip pakub eksabaite tõhusat tehisintellekti jõudlust
GB10 Superchip on süsteem-kiibil (SoC), mis põhineb NVIDIA Grace Blackwelli arhitektuuril ja pakub kuni 100 triljonit tehisintellekti jõudlust FP4 täpsusega.
NVIDIA Blackwell GPU-dega varustatud GB10 on varustatud uusima põlvkonna CUDA® tuumade ja viienda põlvkonna Tensor tuumadega, mis on ühendatud kõrge jõudlusega NVIDIA Grace™ protsessoritega NVLink-C2C ® kiibid-kiibi ühenduste kaudu, sealhulgas 20 energiatõhusa tuumaga, mis on ehitatud Arm arhitektuuriga. MediaTek, Arm-põhise SoC disaini turuliider, osales GB10 disainis, aidates kaasa selle parimale energiatõhususele, jõudlusele ja ühenduvusele.
GB10 superkiip võimaldab Project DIGITS-il pakkuda võimsat jõudlust ainult tavalise toitepistikupesa abil. Iga Project DIGITS sisaldab 128GB ühtset, ühtlast mälu ja kuni 4TB NVMe salvestusruumi. Selle superarvutiga saavad arendajad käivitada suuri keelemudeleid kuni 200 miljardi parameetriga, mis suurendab tehisintellekti innovatsiooni. Lisaks saab NVIDIA ConnectX ® võrgu abil ühendada kaks Project DIGITS AI superarvutit, et käivitada kuni 405 miljardi parameetriga mudeleid.
──────
1. Lühike taust
──────
"Project Digits" tehisintellekti kiirendikaardil võivad olla järgmised suurepärased spetsifikatsioonid:
• 128 GB videomälu
• Ligikaudu 512 GB/s ribalaius
• Umbes 250 TFLOPS (fp16)
• Müügihind võib olla umbes $3000
Mõned inimesed võrdlevad seda Apple'i M4 Pro/Maxi ja turul olevate tavapäraste GPU-dega ning mainivad veidi turundussloganit "1 PFLOPS", kuid tegelikku tõhusat arvutusvõimsust tuleb hoolikalt kaaluda.
─────────
2. Põhiparameetrid ja olulisus
─────────
1. Ujukomaarvutusvõimsus (FLOPS)
• 250 TFLOPS (fp16) kõlab ahvatlevalt, kuid riist- ja tarkvara teevad tõelist vahet.
• "1 PFLOPS" viitab tavaliselt teoreetilisele tipule madalama täpsusega režiimis või võib see olla ka tavapärane "numbrimäng" reklaamis.
2. Videomälu/ühtne mälu (128 GB)
•Erinevate tehisintellekti mudelite puhul on videomälu maht võtmenäitaja, mis näitab "mudeli mahutamist"; 128 GB on piisav järelduste ja keskmise mahuga koolituse toetamiseks.
• Kui treenida 10~20B parameetrimudelit (või rohkemat), kasuta sobivaid segamistäpsust või peenhäälestustehnikaid, et sellest suurest mälust maksimumi võtta.
3. Mälu ribalaius (~512 GB/s)
• Ribalaius määrab, kas arvutustuum suudab "andmeid neelata".
•Kuigi see pole nii hea kui andmekeskuse tase (1 TB/s~2 TB/s või rohkem), on see juba kõrge tase isikliku/tööjaama tasemel platvormile.
• Kas arvutusvõimsus ja ribalaius on tasakaalus, sõltub samuti arhitektuuri vahemälu/operaatori optimeerimisest. Võib-olla ei piisa numbrite vaatamisest, vaid ka tegelikust jooksva skoori vaatamisest.
4. Hind ja ökoloogia
• Üks kaart umbes $3,000 (kui see on tõsi) on paljudele arendajatele või väikestele meeskondadele atraktiivne; See on potentsiaalne konkurentsipunkt tarbijaklassi tipptasemel GPU-dega nagu RTX 4090.
• Kui tarkvaravirn (draiverid, kompilaatorid, süvaõppe raamistikud) ei ole täiuslik, võib kõrge arvutusvõimsus siiski "lamada ja tuhka süüa".
───────────
3. Mõju suurtele mudeliülesannetele
───────────
1. Suurte mudelite arutlus
• 128 GB videomälu on piisav, et toetada miljardeid kuni kümneid miljardeid parameetrimudeleid, mis on "laaditud mällu korraga" pooltäppises või kvantiseeritud režiimis, ning järelduste efektiivsus on tõenäoliselt üsna kõrge.
• Kui ribalaiust ja vahemälu saab hästi kasutada, võivad latentsus ja läbilaskevõime järeldustel olla rahuldavad.
2. Väike- ja keskmise suurusega koolitus
• Mudelite puhul, millel on sadu miljoneid kuni miljardeid parameetreid, on võimalik sellel kaardil kogu protsessi treenimine läbida segatud täpsusega.
• 30B~70B mudelite puhul on tavaliselt vaja kvantimistehnikaid või mitmekaardilist paralleelsust, kuid väikestele meeskondadele on see siiski taskukohasem meetod kui kallid andmekeskuse lahendused.
3. Ribalaiuse kitsaskohad ja arvutusvõimsuse raiskamine
• 250 TFLOPS nõuab tõhusat andmevoogu, et seda täielikult kasutada.
• 512 GB/s ei ole "väike arv", kuid kas see suudab tõesti täisvõimsust kasutada, sõltub mõõdetud ja operaatori tasemel häälestusest.
────────────
4. Lühike võrdlus teiste võimalustega
────────────
1. Apple M4 seeria
• M4 Pro/Max on tuntud ka oma suure ribalaiuse ja suure arvutusvõimsuse poolest; Kuid tegeliku raamistiku ühilduvuse ja süvaõppe optimeerimise osas ei ole see veel NVIDIA-ga samal tasemel.
• Kui "Project Digits" ei oma küpset ökosüsteemi, võib see samuti järgida Apple'i GPU-de jälgi. Ükskõik kui hea riistvara ka poleks, on raske läbi murda, kui tarkvara kohandamine pole paigas.
2. NVIDIA lauaarvuti kaart (näiteks RTX 4090)
•RTX 4090-l on tugev arvutusvõimsus ja märkimisväärne ribalaius, kuid mõnel suurel mudelil on "venitatud" vaid 24 GB.
• Kui paralleelselt on vaja mitut kaarti, tõusevad hind ja energiatarve järsult ning on ilmselgelt mugavam, et "Project Digits" pakub ühele kaardile 128 GB.
3. Andmekeskuse GPU (A100/H100)
•Need suure venna tasemel GPU-d maksavad kümneid tuhandeid või isegi kümneid tuhandeid dollareid ning jõudlus ja ökoloogia on vaieldamatud, kuid mitte kõigil pole neid võimalik endale lubada.
•Kui "Project Digits" võimaldab väikestel tiimidel omada suurt videomälu ja kõrget arvutusvõimsust madalama lävega, võib see saada osa tordist.
──────────
5. Võimalikud väljakutsed ja mured
──────────
1. Tarkvaraökoloogia ja draiverite küpsus
• CUDA on NVIDIA salarelv. Ilma sarnase tugeva ökosüsteemita on "Project Digits" suurel skaalal populaarsust raske saavutada.
2. Arvutusvõimsuse/ribalaiuse tegelik saabumiskiirus
• Tegelikul operaatoril on palju mälurežiime ning kui optimeerimine puudub, võib tippjõudlus jääda ainult reklaammaterjalidesse.
3. Energiatarbimine, soojuse hajutamine ja keskkonnaga kohanemine
• Suur videomälu ja suur arvutusvõimsus tähendavad sageli suurt energiatarbimist. Kui isiklikud või väikesed töökohad ei ole soojuse hajutamiseks valmis, võivad nad silmitsi seista "väikese pliitiga".
4. Pakkumise ja hinnastamise autentsus
• Jälgida, kas tulevikus on rohkem ametlikku teavet või päris tootearvustusi; Kui see on lihtsalt kontseptsioonitoode, võib see olla ka "tühi rõõm".
─────
6. Kokkuvõte
─────
Kui "Project Digits" suudab pakkuda 128 GB videomälu ja 250 TFLOPS (fp16), pluss sõbralikku hinda umbes $3,000, on see väga atraktiivne arendajatele, kes soovivad juurutada keskmise suurusega mudeleid kohapeal või väikestes laborites.
Kuid riistvara parameetrid on ju vaid üks pool; Edu või ebaedu võti on draiver, kompilaator, süvaõppe raamistik ja muu tarkvaratugi.
Praegu on see projekt endiselt "värskete uudiste" ja "avalikkuse tähelepanu" faasis ning kas see suudab olemasolevat turumustrit raputada, sõltub järgnevast tootmisprotsessist ja tegelikust tulemuslikkuse skoorist.
|
Postitatud 2025-2-13 09:43:00
|
|
|
|
Üürileandja|
Postitatud 2025-2-21 14:16:38
|
