Project DIGITS працює на суперчіпі NVIDIA GB10 Grace Blackwell, який забезпечує екзамасштабний ШІ з плаваючою комою в енергоефективній, компактній форм-факторі. З попередньо встановленим стеком NVIDIA AI та 128 ГБ пам'яті розробники можуть локально прототипувати, тонко налаштовувати та раціонально створювати великі моделі ШІ з параметрами до 200 Б, безшовно розгортаючи їх у дата-центрах або хмарі.
Офіційний вебсайт:Вхід за гіперпосиланням видно.
Більше вступу:Вхід за гіперпосиланням видно.
Суперчіп GB10 забезпечує екзабайти ефективної AI-продуктивності
Суперчіп GB10 — це системний процесор (SoC), заснований на архітектурі NVIDIA Grace Blackwell, який забезпечує до 100 трильйонів продуктивності штучного інтелекту з точністю FP4.
Оснащений GPU NVIDIA Blackwell, GB10 оснащений останніми поколіннями CUDA-ядра® та п'ятого покоління Tensor, підключеними до високопродуктивних процесорів NVIDIA Grace™ через інтерфейси NVLink-C2C ®, включно з 20 енергоефективними ядрами з архітектурою Arm. MediaTek, лідер ринку у дизайні SoC на базі Arm, брала участь у розробці GB10, сприяючи її найкращій енергоефективності, продуктивності та підключеності.
Суперчіп GB10 дозволяє Project DIGITS забезпечувати потужну продуктивність, використовуючи лише стандартну розетку. Кожен Project DIGITS має 128 ГБ уніфікованої, узгодженої пам'яті та до 4 ТБ NVMe пам'яті. З цим суперкомп'ютером розробники можуть запускати великі мовні моделі з до 200 мільярдів параметрів, що сприяє інноваціям у сфері ШІ. Крім того, використовуючи мережу NVIDIA ConnectX ®, можна підключити два суперкомп'ютери Project DIGITS AI для запуску моделей з параметрами до 405 мільярдів.
──────
1. Короткий контекст
──────
Карта прискорювача ШІ від «Project Digits» може мати такі дивовижні характеристики:
• 128 ГБ відеопам'яті
• Приблизно 512 ГБ/с пропускної здатності
• Приблизно 250 TFLOPS (fp16)
• Ціна продажу може становити близько $3000
Дехто порівнює його з Apple M4 Pro/Max та масовими GPU на ринку, і згадують трохи маркетинговий слоган «1 PFLOPS», але реальну ефективну обчислювальну потужність потрібно ретельно зважувати.
─────────
2. Основні параметри та значення
─────────
1. Обчислювальна потужність з плаваючою комою (FLOPS)
• 250 TFLOPS (fp16) звучить спокусливо, але апаратне та програмне забезпечення працюють разом, щоб справді змінити ситуацію.
• «1 PFLOPS» зазвичай означає теоретичний пік у режимі нижчої точності, або це також може бути звичайна «гра чисел» у рекламі.
2. Відеопам'ять/уніфікована пам'ять (128 ГБ)
• Для різних моделей ШІ об'єм відеопам'яті є ключовим показником «здатності вмістити модель»; 128 ГБ достатньо для підтримки висновків і середньомасштабного навчання.
• При навчанні моделі параметрів 10~20B (або більше) використовуйте методи точності змішування або тонкого налаштування, щоб максимально ефективно використовувати цю велику пам'ять.
3. Пропускна здатність пам'яті (~512 ГБ/с)
• Пропускна здатність визначає, чи може обчислювальне ядро «поглинати дані».
• Хоча це не такий хороший, як рівень дата-центру (1 ТБ/с~2 ТБ/с або більше), це вже високий рівень для персональної/робочої платформи.
• Збалансованість обчислювальної потужності та пропускної здатності також залежить від оптимізації кешу/оператора в архітектури. Можливо, недостатньо просто подивитися на цифри, а й на реальний біговий рахунок.
4. Ціна та екологія
• Одна карта вартістю близько $3,000 (якщо це правда) приваблива для багатьох розробників або невеликих команд; Це потенційна точка конкуренції з висококласними GPU споживчого класу, такими як RTX 4090.
• Однак, якщо стек програмного забезпечення (драйвери, компілятори, фреймворки глибокого навчання) не ідеальний, висока обчислювальна потужність все одно може «лягти і їсти попіл».
───────────
3. Вплив на завдання великих моделей
───────────
1. Міркування великих моделей
• 128 ГБ відеопам'яті достатньо для підтримки від мільярдів до десятків мільярдів моделей параметрів, «завантажених у пам'ять одночасно» у режимі напівточності або квантування, а ефективність виведення, ймовірно, буде досить високою.
• Якщо пропускна здатність і кеш можна використовувати правильно, затримка та пропускна здатність під час виведення можуть бути задовільними.
2. Навчання малого та середнього масштабу
• Для моделей із сотнями мільйонів або мільярдів параметрів можливо провести навчання всього процесу з різною точністю на цій карті.
• Для моделей 30B~70B зазвичай потрібні методи квантування або багатокартковий паралелізм, але для невеликих команд це все ще більш доступний метод, ніж дорогі рішення для дата-центрів.
3. Вузькі місця пропускної здатності та марнотратство обчислювальної потужності
• 250 TFLOPS вимагає ефективного постачання даних для повного використання.
• 512 ГБ/с — це не «мале число», але чи зможе він дійсно працювати на повній обчислювальній потужності, залежить від виміряного та операторського налаштування.
────────────
4. Коротке порівняння з іншими варіантами
────────────
1. Серія Apple M4
• M4 Pro/Max також відомий своєю високою пропускною здатністю та високою обчислювальною потужністю; Однак з точки зору сумісності з фреймворком і оптимізації глибокого навчання він ще не дотягує до рівня NVIDIA.
• Якщо «Project Digits» не має зрілої екосистеми, він також може піти слідами GPU Apple. Незалежно від якості апаратного забезпечення, прорватися складно, якщо програмна адаптація не впроваджена.
2. Настільна карта NVIDIA (як RTX 4090)
•RTX 4090 має потужну обчислювальну потужність і значну пропускну здатність, але на деяких великих моделях буде «розтягнуто» лише 24 ГБ.
• Коли потрібно використовувати кілька карт паралельно, вартість і енергоспоживання різко зростають, і очевидно, що «Project Digits» зручніше забезпечувати 128 ГБ на одній карті.
3. GPU для дата-центру (A100/H100)
• Ці GPU рівня Big Brother коштують десятки тисяч або навіть десятки тисяч доларів, а продуктивність і екологія беззаперечні, але не кожен може собі їх дозволити.
•Якщо «Project Digits» справді дозволить малим командам мати велику відеопам'ять і високу обчислювальну потужність з нижчим порогом, можливо, вони зможуть отримати частку.
──────────
5. Потенційні виклики та занепокоєння
──────────
1. Екологія програмного забезпечення та зрілість драйвера
• CUDA — це секретна зброя NVIDIA. Без подібної міцної екосистеми важко популяризувати «Project Digits» у великому масштабі.
2. Фактична швидкість надходження обчислювальної потужності/пропускної здатності
• Фактичний оператор, що працює, має багато режимів доступу до пам'яті, і якщо немає оптимізації, пікова продуктивність може залишатися лише в рекламних матеріалах.
3. Споживання електроенергії, розсіювання тепла та адаптація до навколишнього середовища
• Велика відеопам'ять і висока обчислювальна потужність часто означають високе енергоспоживання. Якщо особисті або невеликі робочі місця не готові до розсіювання тепла, вони можуть зіткнутися з «маленькою плитою».
4. Автентичність постачання та ціноутворення
• Спостерігати, чи буде більше офіційної інформації або реальних оглядів продуктів у майбутньому; Якщо це просто концептуальний продукт, це може бути й «порожня радість».
─────
6. Короткий зміст
─────
Якщо «Project Digits» зможе запропонувати 128 ГБ відеопам'яті та 250 TFLOPS (fp16), плюс вигідну ціну близько $3,000, це буде дуже привабливо для розробників, які хочуть розгортати середні моделі локально або в невеликих лабораторіях.
Однак апаратні параметри — це лише одна сторона; Ключем до успіху чи невдачі є драйвер, компілятор, фреймворк глибокого навчання та інша підтримка програмного забезпечення.
Наразі цей проєкт досі перебуває на стадії «екстрених новин» та «публічності», і чи зможе він змінити існуючу ринкову модель, залежить від подальшого процесу продуктизації та реального показника ефективності.
|
Опубліковано 2025-2-13 09:43:00
|
|
|
|
Орендодавець|
Опубліковано 2025-2-21 14:16:38
|
