|
|
Közzétéve: 2025-2-13, 09:43:00
|
|
|
|
A Project DIGITS-et az NVIDIA GB10 Grace Blackwell Superchip hajtja, amely exascale lebegőpontos AI teljesítményt nyújt energiatakarékos, kompakt formában. Egy előre telepített NVIDIA AI szoftver stack és 128GB memória segítségével a fejlesztők helyben prototípusozhatnak, finomhangolhatnak és megtervezhetnek akár 200B paraméterű nagy AI modelleket, amelyeket zökkenőmentesen telepíthetnek adatközpontokba vagy a felhőbe.
Hivatalos weboldal:A hiperlink bejelentkezés látható.
További bevezetés:A hiperlink bejelentkezés látható.
A GB10 szuperchip exabájtokkal hatékony MI teljesítményt nyújt
A GB10 Superchip egy rendszer-chip (SoC) az NVIDIA Grace Blackwell architektúrán alapul, és akár 100 billió AI teljesítményt nyújt FP4 pontossággal.
NVIDIA Blackwell GPU-kkal működő GB10 legújabb generációs CUDA® magokkal és ötödik generációs Tensor magokkal van felszerelve, amelyeket NVLink-C2C ® chip-chip interconnecten keresztül csatlakoznak nagy teljesítményű NVIDIA Grace™ CPU-khoz, beleértve 20 energiahatékony magot, amelyeket Arm architektúrával építettek. A MediaTek, az Arm-alapú SoC tervezés piacvezetője, részt vett a GB10 tervezésében, hozzájárulva annak legjobb energiahatékonyságához, teljesítményéhez és kapcsolódásához.
A GB10 szuperchip lehetővé teszi a Project DIGITS számára, hogy erős teljesítményt nyújtson csak egy szabványos tápegységgel. Minden Project DIGITS 128GB egységes, következetes memóriával és akár 4TB NVMe tárhelyet is tartalmaz. Ezzel a szuperszámítógéptel a fejlesztők akár 200 milliárd paraméterrel is nagy nyelvi modelleket futtathatnak, ezzel növelve az AI innovációját. Ezen felül az NVIDIA ConnectX ® hálózatán keresztül két Project DIGITS AI szuperszámítógép csatlakoztatható, hogy akár 405 milliárd paraméterrel rendelkező modelleket futtasson.
──────
1. Rövid háttér
──────
A "Project Digits" AI gyorsítókártyája a következő lenyűgöző specifikációkat kínálhatja:
• 128 GB videómemória
• Körülbelül 512 GB/s sávszélesség
• Kb. 250 TFLOPS (fp16)
• Az eladási ár körülbelül 3000 dollár lehet
Néhányan összehasonlítják az Apple M4 Pro/Max-jával és a piacon lévő mainstream GPU-kkal, és említik a kissé marketinges szlogenet, a "1 PFLOPS"-ot, de a tényleges hatékony számítási teljesítményt alaposan mérlegelni kell.
─────────
2. Alapvető paraméterek és jelentőség
─────────
1. Lebegőpontos számítási teljesítmény (FLOPS)
• 250 TFLOPS (fp16) csábítónak hangzik, de a hardver és a szoftver együtt dolgoznak, hogy igazán megteremtsék a különbséget.
• Az "1 PFLOPS" általában az elméleti csúcsra utal alacsonyabb pontosságú módban, vagy lehet a szokásos "számjáték" a reklámokban.
2. Videómemória/egységes memória (128 GB)
•Különböző MI modellek esetében a videómemória kapacitása kulcsfontosságú mutatója annak, hogy "képes-e beilleszkedni egy modellhez"; 128 GB elegendő az inferencia és a közepes léptékű képzés támogatására.
• 10~20B paramétermodell (vagy annál több) tanításakor használj megfelelő keverési pontosságot vagy finomhangolási technikákat, hogy a lehető legtöbbet hozd ki ebből a nagy memóriából.
3. Memória sávszélesség (~512 GB/s)
• A sávszélesség határozza meg, hogy a számítástechnikai mag "felemlegeti-e az adatokat".
• Bár nem olyan jó, mint az adatközpont szintje (1 TB/s~2 TB/s vagy annál több), már most is magas szint egy személyes/munkaállomás szintű platformhoz.
• Az, hogy a számítási teljesítmény és a sávszélesség kiegyensúlyozott-e, szintén az architektúra gyorsítótár/operátor optimalizálásától függ. Lehet, hogy nem elég a számok megnézése, de a valódi futó pontszám megnézése is.
4. Ár és ökológia
• Egy körülbelül 3 000 dolláros kártya (ha igaz) sok fejlesztő vagy kis csapat számára vonzó; Ez potenciális versenypont a fogyasztói szintű csúcskategóriás GPU-kkal, mint az RTX 4090.
• Ha azonban a szoftverstack (driverek, fordítók, mélytanulási keretrendszerek) nem tökéletes, a nagy számítási kapacitás még mindig "lefekszik és hamut eszed".
───────────
3. Hatás a nagy modell feladatokra
───────────
1. Nagy modell érvelés
• 128 GB videómemória elegendő ahhoz, hogy milliárdoktól tízmilliárdnyi paramétermodellhez "egyszerre betöltve memóriába" félprecíziós vagy kvantált módban legyen, és a következtetés hatékonysága valószínűleg meglehetősen magas lesz.
• Ha a sávszélesség és a gyorsítótár jól használható, akkor a következtetés során a késleltetés és az áteresztés kielégítő lehet.
2. Kis és közepes szintű képzés
• Több százmilliótól milliárdig terjedő paraméterekkel rendelkező modelleknél az egész folyamat képzése vegyes pontossággal futtatható ezen a kártyán.
• 30B~70B modelleknél általában kvantálási technikák vagy többkártyás párhuzamosság szükséges, de kis csapatok számára ez még mindig megfizethetőbb, mint a drága adatközpont megoldások.
3. Sávszélességi szűk keresztmetszetek és a számítási kapacitás pazarlása
• 250 TFLOPS hatékony adatellátást igényel a teljes körű kihasználáshoz.
• Az 512 GB/s nem "kis szám", de az, hogy valóban képes teljes számítási teljesítményt futtatni, a mért és operátori szintű hangolótól függ.
────────────
4. Rövid összehasonlítás más lehetőségekkel
────────────
1. Apple M4 sorozat
• Az M4 Pro/Max ismert a nagy sávszélességéről és nagy számítási kapacitásáról; Azonban a tényleges keretrendszer kompatibilitása és a mélytanulás optimalizálása tekintetében még nem ér el az NVIDIA-val.
• Ha a "Project Digits" nem rendelkezik érett ökoszisztémával, akkor az Apple GPU-inak nyomdokait is követheti. Bármilyen jó is a hardver, nehéz áttörni, ha nincs meg a szoftveradaptáció.
2. NVIDIA asztali kártya (például RTX 4090)
•Az RTX 4090 erős számítási kapacitással és jelentős sávszélességgel rendelkezik, de néhány nagy modellnél csak 24 GB lesz "megfeszítve".
• Ha több kártyára van szükség párhuzamosan, a költség és az energiafogyasztás jelentősen megnő, és nyilvánvalóan kényelmesebb, ha a "Project Digits" egyetlen kártyán 128 GB-ot biztosít.
3. Adatközpont GPU (A100/H100)
• Ezek a nagytestvéri szintű GPU-k tízezrek, sőt akár tízezrek dollárba kerülnek, és a teljesítményük és ökológiai szempontjuk kétségtelen, de nem mindenki engedheti meg magának magadnak.
•Ha a "Project Digits" valóban lehetővé teszi a kis csapatok számára, hogy nagy videómemóriával és magas számítási kapacitással rendelkezzenek alacsonyabb küszöbértékgel, akkor talán részesedést kaphat a tortából.
──────────
5. Lehetséges kihívások és aggodalom
──────────
1. Szoftverökológia és illesztőprogram-érettség
• A CUDA az NVIDIA titkos fegyvere. Hasonló szilárd ökoszisztéma nélkül nehéz a "Project Digits" nagy léptékben népszerűvé válni.
2. A számítási teljesítmény/sávszélesség tényleges érkezési aránya
• A tényleges futó operátornak sok memória-hozzáférési módja van, és ha nincs optimalizálás, a csúcsteljesítmény csak a promóciós anyagokban maradhat.
3. Energiafogyasztás, hőeloszlás és környezeti alkalmazkodás
• A nagy videómemória és a magas számítási kapacitás gyakran magas energiafogyasztást jelent. Ha személyes vagy kis munkaállomások nem állnak készen a hőlevonásra, előfordulhat, hogy "kis tűzhely" áll előttük.
4. Kínálat és árképzés hitelessége
• Figyelje meg, hogy a jövőben lesznek-e hivatalos információk vagy valódi termékértékelések; Ha csak egy koncepciótermék, akkor lehet "üres öröm" is.
─────
6. Összefoglaló
─────
Ha a "Project Digits" 128 GB videómemóriát és 250 TFLOPS (fp16) kapacitást kínál, plusz egy barátságos körülbelül 3000 dolláros árajánlatot, nagyon vonzó lesz azok számára, akik közepes méretű modelleket szeretnének helyben vagy kis laborokban telepíteni.
Azonban a hardverparaméterek végül is csak egy oldalúak; A siker vagy kudarc kulcsa a meghajtó, a fordító, a mélytanulási keretrendszer és egyéb szoftvertámogatás.
Jelenleg ez a projekt még mindig a "friss hírek" és "nyilvánosság" szakaszában van, és az, hogy képes lesz-e megrázni a meglévő piaci mintát, a későbbi termékalkotási folyamattól és a valódi teljesítménypontszámtól függ.
|
|
Háziúr|
Közzétéve: 2025-2-21 14:16:38
|
