Project DIGITS се задвижва от суперчипа NVIDIA GB10 Grace Blackwell, който предлага екзаскално изкуствен интелект с плаваща запетая в енергийно ефективен и компактен формфактор. С предварително инсталиран NVIDIA AI софтуерен стек и 128GB памет, разработчиците могат локално да прототипират, прецизират и разсъждават големи AI модели с до 200B параметри и безпроблемно да ги внедряват в центрове за данни или в облака.
Официален уебсайт:Входът към хиперлинк е видим.
Още въведение:Входът към хиперлинк е видим.
Суперчипът GB10 предоставя ексабайти ефективна AI производителност
GB10 Superchip е система на чип (SoC), базирана на архитектурата на NVIDIA Grace Blackwell, която осигурява до 100 трилиона AI производителност с точност FP4.
Задвижван от NVIDIA Blackwell GPU, GB10 е оборудван с най-новото поколение CUDA® ядра и пето поколение Tensor ядра, свързани с високопроизводителни NVIDIA Grace™ процесори чрез NVLink-C2C ® чип-чип интерконекци, включително 20 енергийно ефективни ядра, изградени с Arm архитектура. MediaTek, лидер на пазара в дизайна на SoC, базиран на Arm, участва в дизайна на GB10, допринасяйки за най-добрата енергийна ефективност, производителност и свързаност.
Суперчипът GB10 позволява на Project DIGITS да осигури мощна производителност, използвайки само стандартен контакт. Всеки Project DIGITS разполага с 128GB унифицирана, последователна памет и до 4TB NVMe памет. С този суперкомпютър разработчиците могат да изпълняват големи езикови модели с до 200 милиарда параметъра, което стимулира иновациите в AI. Освен това, използвайки мрежата NVIDIA ConnectX ®, два суперкомпютъра Project DIGITS AI могат да бъдат свързани, за да стартират модели с до 405 милиарда параметъра.
──────
1. Кратък контекст
──────
AI ускорителната карта от "Project Digits" може да има следните удивителни характеристики:
• 128 GB видео памет
• Приблизително 512 GB/s пропускателна способност
• Около 250 TFLOPS (fp16)
• Продажната цена може да е около $3000
Някои хора го сравняват с M4 Pro/Max на Apple и масовите GPU на пазара и споменават леко маркетинговия слоган "1 PFLOPS", но реалната ефективна изчислителна мощ трябва да се прецени внимателно.
─────────
2. Основни параметри и значимост
─────────
1. Изчислителна мощност с плаваща запетая (FLOPS)
• 250 TFLOPS (fp16) звучи изкушаващо, но хардуерът и софтуерът работят заедно, за да направят истинската разлика.
• "1 PFLOPS" обикновено се отнася до теоретичния пик в режим с по-ниска прецизност, или може да е и обичайната "игра с числа" в рекламата.
2. Видео памет/обединена памет (128 GB)
• За различни AI модели капацитетът на видео паметта е ключов показател за "способността да се побере модел"; 128 GB са достатъчни за поддръжка на инференции и средномащабно обучение.
• При обучение на модел с параметър 10~20B (или повече), използвайте прецизни или прецизни техники за настройка на смесването, за да извлечете максимума от тази голяма памет.
3. Пропускателна способност на паметта (~512 GB/s)
• Пропускателната способност определя дали изчислителното ядро може да "погълне данните".
•Въпреки че не е толкова добър, колкото на ниво център за данни (1 TB/s~2 TB/s или повече), вече е високо ниво за платформа на персонално/работно ниво.
• Дали изчислителната мощ и пропускателната способност са балансирани също зависи от оптимизацията на кеша/оператора в архитектурата. Може да не е достатъчно само да гледаш числата, но и да гледаш реалния тичащ резултат.
4. Цена и екология
• Една карта на стойност около $3,000 (ако е вярна) е привлекателна за много разработчици или малки екипи; Това е потенциална точка на конкуренция с потребителски висококласни графични карти като RTX 4090.
• Въпреки това, ако софтуерният стек (драйвери, компилатори, рамки за дълбоко обучение) не е перфектен, високата изчислителна мощ все още може да "легне и да изяде пепелта".
───────────
3. Въздействие върху задачи с големи модели
───────────
1. Разсъждение с голям модел
• 128 GB видео памет са достатъчни, за да поддържат милиарди до десетки милиарди параметърни модели, "заредени в паметта наведнъж" в полу-прецизен или квантуван режим, а ефективността на извеждане вероятно ще бъде доста висока.
• Ако пропускателната способност и кешът могат да се използват добре, латентността и пропускателната способност при извеждане могат да бъдат задоволителни.
2. Обучение в малък и среден мащаб
• За модели с стотици милиони до милиарди параметри е възможно да се проведе цялото обучение на процеса с смесена прецизност на тази карта.
• За моделите 30B~70B обикновено са необходими техники за квантуване или паралелизъм с много карти, но за малки екипи това все още е по-достъпен метод от скъпите решения за центрове за данни.
3. Тесни места в пропускателната способност и загуба на изчислителна мощност
• 250 TFLOPS изискват ефективно подаване на данни, за да бъдат напълно използвани.
• 512 GB/s не е "малко число", но дали наистина може да изпълни пълната изчислителна мощност зависи от измерената и операторска настройка.
────────────
4. Кратко сравнение с други опции
────────────
1. Серия Apple M4
• M4 Pro/Max е известен и с високата си честотна лента и високата си изчислителна мощ; Въпреки това, що се отнася до реалната съвместимост с фреймуърка и оптимизацията на дълбокото обучение, все още не е на нивото на NVIDIA.
• Ако "Project Digits" няма зряла екосистема, той може да последва и стъпките на GPU-тата на Apple. Без значение колко добър е хардуерът, трудно е да пробиеш, ако софтуерната адаптация не е наличена.
2. NVIDIA настолна карта (като RTX 4090)
•RTX 4090 има силна изчислителна мощ и значителна пропускателна способност, но при някои големи модели само 24 GB ще бъдат "разтегнати".
• Когато са необходими няколко паралелни карти, цената и консумацията на енергия рязко се увеличават, и очевидно е по-удобно за "Project Digits" да осигури 128 GB на една карта.
3. Графична карта за центъра за данни (A100/H100)
• Тези GPU на ниво Big Brother струват десетки хиляди или дори десетки хиляди долари, а производителността и екологията са безспорни, но не всеки може да си ги позволи.
•Ако "Project Digits" наистина може да позволи на малки екипи да имат голяма видео памет и висока изчислителна мощ с по-нисък праг, може би ще успее да получи част от парите.
──────────
5. Потенциални предизвикателства и притеснения
──────────
1. Екология на софтуера и зрялост на драйвера
• CUDA е тайното оръжие на NVIDIA. Без подобна стабилна екосистема е трудно "Project Digits" да бъде популяризиран в голям мащаб.
2. Действителната скорост на пристигане на изчислителната мощност/пропускателна способност
• Реалният оператор има много режими на достъп до паметта и ако липсва оптимизация, максималната производителност може да остане само в промоционалните материали.
3. Консумация на електроенергия, разсейване на топлина и адаптация към околната среда
• Голямата видео памет и високата изчислителна мощ често означават висока консумация на енергия. Ако личните или малките работни станции не са готови за разсейване на топлина, те може да се изправят срещу "малка печка".
4. Автентичност на доставките и ценообразуването
• Наблюдавайте дали в бъдеще има повече официална информация или реални продуктови ревюта; Ако е просто концептуален продукт, може да е и "празна радост".
─────
6. Резюме
─────
Ако "Project Digits" може да предложи 128 GB видео памет и 250 TFLOPS (fp16), плюс приятелска цена от около $3,000, това ще бъде много привлекателно за разработчици, които искат да внедряват средни модели локално или в малки лаборатории.
Въпреки това, хардуерните параметри са само от едната страна; Ключът към успеха или провала е драйверът, компилатора, рамката за дълбоко обучение и друга софтуерна поддръжка.
В момента този проект все още е в етап на "извънредни новини" и "публичност", и дали ще може да разклати съществуващия пазарен модел зависи от последващия процес на продуктовизация и реалния резултат за представяне.
|
Публикувано в 13.02.2025 г. 9:43:00 ч.
|
|
|
|
Хазяин|
Публикувано в 21.02.2025 г. 14:16:38 ч.
|
