Project DIGITS toimii NVIDIA GB10 Grace Blackwell Superchip -moottorilla, joka tarjoaa exascale-liukulukutekoälyn suorituskyvyn energiatehokkaassa ja kompaktissa muodossa. Valmiiksi asennetun NVIDIA AI -ohjelmistopinon ja 128GB muistin avulla kehittäjät voivat paikallisesti prototyyppiä, hienosäätää ja järkeillä suuria tekoälymalleja, joilla on jopa 200 miljardia parametria, ja ottaa ne saumattomasti käyttöön datakeskuksiin tai pilveen.
Virallinen verkkosivusto:Hyperlinkin kirjautuminen on näkyvissä.
Lisää esittelyä:Hyperlinkin kirjautuminen on näkyvissä.
GB10-supersiru tarjoaa exatavuja tehokasta tekoälysuorituskykyä
GB10 Superchip on system-on-chip (SoC), joka perustuu NVIDIA Grace Blackwell -arkkitehtuuriin ja tarjoaa jopa 100 biljoonaa tekoälysuorituskykyä FP4-tarkkuudella.
NVIDIA Blackwell -näytönohjaimilla varustettu GB10 on varustettu uusimman sukupolven CUDA-ytimillä® ja viidennen sukupolven Tensor-ytimillä, jotka on yhdistetty suorituskykyisiin NVIDIA Grace™ -suorittimiin NVLink-C2C-sirujen ® välisten liitäntöjen kautta, mukaan lukien 20 energiatehokkaata ydintä, jotka on rakennettu Arm-arkkitehtuurilla. MediaTek, joka on markkinajohtaja Arm-pohjaisessa SoC-suunnittelussa, osallistui GB10:n suunnitteluun, edistäen sen luokkansa parasta energiatehokkuutta, suorituskykyä ja yhteyksiä.
GB10-supersiru mahdollistaa Project DIGITS:lle tehokkaan suorituskyvyn käyttämällä vain tavallista pistorasiaa. Jokaisessa Project DIGITS sisältää 128 Gt yhtenäistä, johdonmukaista muistia ja jopa 4TB NVMe-tallennustilaa. Tämän supertietokoneen avulla kehittäjät voivat ajaa suuria kielimalleja, joissa on jopa 200 miljardia parametria, mikä parantaa tekoälyn innovaatiota. Lisäksi NVIDIA ConnectX ® -verkon avulla kaksi Project DIGITS AI -supertietokonetta voidaan yhdistää ajamaan malleja, joissa on jopa 405 miljardia parametria.
──────
1. Lyhyt tausta
──────
"Project Digitsin" tekoälykiihdytinkortilla voi olla seuraavat erinomaiset ominaisuudet:
• 128 GB videomuistia
• Noin 512 GB/s kaistanleveys
• Noin 250 TFLOPS (fp16)
• Myyntihinta voi olla noin $3000
Jotkut vertaavat sitä Applen M4 Pro/Maxiin ja markkinoilla oleviin suosittuihin GPU:iin, ja mainitsevat hieman markkinointisloganin "1 PFLOPS", mutta todellinen tehokas laskentateho täytyy punnita tarkasti.
─────────
2. Ydinparametrit ja merkitys
─────────
1. Liukulukulaskentateho (FLOPS)
• 250 TFLOPS (fp16) kuulostaa houkuttelevalta, mutta laitteisto ja ohjelmisto toimivat yhdessä ja tekevät todellisen eron.
• "1 PFLOPS" viittaa yleensä teoreettiseen huippuun matalamman tarkkuuden tilassa, tai se voi myös olla mainonnan tavallinen "numeropeli".
2. Videomuisti/yhtenäinen muisti (128 GB)
•Eri tekoälymalleissa videomuistikapasiteetti on keskeinen mittari siitä, että "mallin mahtuminen on mahdollista"; 128 GB riittää tukemaan päättelyä ja keskitasoista koulutusta.
• Kun koulutetaan 10~20B-parametrimallia (tai enemmän), käytä miksaustarkkuutta tai hienosäätötekniikoita asianmukaisesti, jotta saat tästä suuresta muistista parhaan hyödyn.
3. Muistin kaistanleveys (~512 GB/s)
• Kaistanleveys määrittää, voiko laskentaydin "syödä datan".
•Vaikka se ei ole yhtä hyvä kuin datakeskustaso (1 TB/s~2 TB/s tai enemmän), se on jo korkea taso henkilökohtaisille/työasematasoisille alustalle.
• Se, ovatko laskentateho ja kaistanleveys tasapainossa, riippuu myös arkkitehtuurin välimuisti/operaattorin optimoinnista. Ei välttämättä riitä, että katsotaan lukuja, vaan myös todellista juoksutulosta.
4. Hinta ja ekologia
• Yksi noin 3 000 dollarin kortti (jos se on totta) houkuttelee monia kehittäjiä tai pieniä tiimejä; Tämä on mahdollinen kilpailupaikka kuluttajatason huippuluokan näytönohjaimien, kuten RTX 4090:n, kanssa.
• Kuitenkin, jos ohjelmistopino (ajurit, kääntäjät, syväoppimiskehykset) ei ole täydellinen, korkea laskentateho voi silti "maata ja syödä tuhkaa".
───────────
3. Vaikutus suuriin mallitehtäviin
───────────
1. Suuren mallin päättely
• 128 GB videomuistia riittää tukemaan miljardeja tai kymmeniä miljardeja parametrimalleja, jotka "ladataan muistiin kerralla" puolitarkkuudessa tai kvantisoidussa tilassa, ja päättelytehokkuus on todennäköisesti melko korkea.
• Jos kaistanleveyttä ja välimuistia voidaan käyttää hyvin, viive ja läpimenokyky päättelyssä voivat olla tyydyttäviä.
2. Pieni ja keskisuuri koulutus
• Malleille, joissa on satoja miljoonia tai miljardeja parametreja, on mahdollista suorittaa koko prosessikoulutus vaihtelevalla tarkkuudella tällä kortilla.
• 30B~70B-malleissa tarvitaan yleensä kvantisointitekniikoita tai monikorttiparallelismia, mutta pienille tiimeille se on silti edullisempi menetelmä kuin kalliit datakeskusratkaisut.
3. Kaistanleveyden pullonkaulat ja laskentatehon tuhlaus
• 250 TFLOPS vaatii tehokkaan tiedontoimituksen täysimittaiseen hyödyntämiseen.
• 512 GB/s ei ole "pieni luku", mutta se, pystyykö se todella pyörittämään koko laskentatehoa, riippuu mitatusta ja käyttäjätason virityksestä.
────────────
4. Lyhyt vertailu muihin vaihtoehtoihin
────────────
1. Apple M4 -sarja
• M4 Pro/Max tunnetaan myös suuresta kaistanleveydestään ja suuresta laskentatehostaan; Kuitenkin kehysten yhteensopivuuden ja syväoppimisen optimoinnin osalta se ei vielä ole NVIDIA:n tasolla.
• Jos "Project Digitsillä" ei ole kypsää ekosysteemiä, se saattaa myös seurata Applen GPU:iden jalanjälkiä. Riippumatta siitä, kuinka hyvä laitteisto on, on vaikea murtautua läpi, jos ohjelmiston mukautus ei ole kunnossa.
2. NVIDIA-pöytäkortti (kuten RTX 4090)
•RTX 4090:llä on vahva laskentateho ja huomattava kaistanleveys, mutta joissakin suurissa malleissa vain 24 GB on "venymässä".
• Kun useita kortteja tarvitaan rinnakkain, kustannukset ja virrankulutus nousevat jyrkästi, ja on selvästi kätevämpää, että "Project Digits" tarjoaa 128 GB yhdellä kortilla.
3. Datakeskuksen GPU (A100/H100)
•Nämä isovelitasoiset GPU:t maksavat kymmeniä tuhansia tai jopa kymmeniä tuhansia dollareita, ja suorituskyky sekä ekologia ovat kiistattomia, mutta kaikilla ei ole varaa niihin.
•Jos "Project Digits" todella mahdollistaa pienten tiimien suuren videomuistin ja suuren laskentatehon matalammalla kynnyksellä, se saattaa saada osan kakusta.
──────────
5. Mahdolliset haasteet ja huolenaiheet
──────────
1. Ohjelmistoekologia ja ajurin kypsyys
• CUDA on NVIDIA:n salainen ase. Ilman vastaavaa vankkaa ekosysteemiä "Project Digits" on vaikea yleistyä laajassa mittakaavassa.
2. Laskentatehon/kaistanleveyden todellinen saapumisnopeus
• Varsinaisella käynnissä olevalla operaattorilla on useita muistikäyttötiloja, ja jos optimointi puuttuu, huippusuorituskyky voi pysyä vain mainosmateriaaleissa.
3. Sähkönkulutus, lämmön haihtuminen ja ympäristöön sopeutuminen
• Suuri videomuisti ja korkea laskentateho tarkoittavat usein suurta virrankulutusta. Jos henkilökohtaiset tai pienet työpisteet eivät ole valmiita lämmön haihtumiseen, ne voivat kohdata "pienen lieden".
4. Toimitus- ja hinnoitteluaitous
• Seuraa, onko tulevaisuudessa virallista tietoa tai oikeita tuotearvosteluja; Jos kyseessä on vain konseptituote, se voi olla myös "tyhjää iloa".
─────
6. Yhteenveto
─────
Jos "Project Digits" pystyy tarjoamaan 128 GB videomuistia ja 250 TFLOPS (fp16) sekä ystävällisen noin 3 000 dollarin hintarajan, se on erittäin houkutteleva kehittäjille, jotka haluavat ottaa käyttöön keskikokoisia malleja paikallisesti tai pienissä laboratorioissa.
Laitteistoparametrit ovat kuitenkin vain yksi puoli; Menestyksen tai epäonnistumisen avain on ajuri, kääntäjä, syväoppimisen kehys ja muu ohjelmistotuki.
Tällä hetkellä tämä projekti on vielä "uutisten" ja "julkisuuden" vaiheessa, ja se, pystyykö se ravistelemaan olemassa olevaa markkinamallia, riippuu myöhemmästä tuotekehitysprosessista ja todellisesta suorituskykypisteestä.
|
Julkaistu 2025-2-13 09:43:00
|
|
|
|
Vuokraisäntä|
Julkaistu 2025-2-21 klo 14:16:38
|
