Project DIGITS работает на суперчипе NVIDIA GB10 Grace Blackwell, обеспечивающий экзаscale с плавающей запятой в энергоэффективном и компактном формате. С предустановленным стеком ИИ NVIDIA и 128 ГБ памяти разработчики могут локально прототипировать, тонко настраивать и реализовывать крупные модели ИИ с параметрами до 200 Б, а также бесшовно внедрять их в дата-центры или облако.
Официальный сайт:Вход по гиперссылке виден.
Дополнительное введение:Вход по гиперссылке виден.
Суперчип GB10 обеспечивает экзабайты эффективной производительности ИИ
Суперчип GB10 — это системно-на-чипе (SoC), основанный на архитектуре NVIDIA Grace Blackwell, обеспечивающий до 100 триллионов производительности ИИ с точностью FP4.
Оснащённая видеопроцессорами NVIDIA Blackwell, GB10 оснащён последним поколением CUDA® Cores и пятого поколения Tensor, подключёнными к высокопроизводительным процессорам NVIDIA Grace™ через чип-чип-соединения NVLink-C2C ®, включая 20 энергоэффективных ядер, построенных на архитектуре Arm. MediaTek, лидер рынка в проектировании SoC на базе Arm, участвовала в разработке GB10, что способствовало его высшей в классе энергоэффективности, производительности и связности.
Суперчип GB10 позволяет Project DIGITS обеспечивать мощную производительность, используя только стандартную розетку. Каждая Project DIGITS оснащена 128 ГБ унифицированной, согласованной памяти и до 4 ТБ памяти NVMe. С помощью этого суперкомпьютера разработчики могут запускать крупные языковые модели с до 200 миллиардов параметров, что способствует инновациям в области ИИ. Кроме того, используя сеть NVIDIA ConnectX ®, можно подключить два суперкомпьютера Project DIGITS AI для запуска моделей с параметрами до 405 миллиардов.
──────
1. Краткая предыстория
──────
Карта AI-акселератора от «Project Digits» может иметь следующие удивительные характеристики:
• 128 ГБ видеопамяти
• Примерно 512 ГБ/с пропускная способность
• Примерно 250 TFLOPS (fp16)
• Цена продажи может составлять около $3000
Некоторые сравнивают его с Apple M4 Pro/Max и массовыми видеокартами на рынке, упоминая слегка рекламный слоган «1 PFLOPS», но реальную эффективную вычислительную мощность нужно тщательно взвесить.
─────────
2. Основные параметры и значимость
─────────
1. Вычислительная мощность с плавающей запятой (FLOPS)
• 250 TFLOPS (fp16) звучит заманчиво, но аппаратное и программное обеспечение работают вместе, чтобы действительно изменить ситуацию.
• «1 PFLOPS» обычно означает теоретический пик в режиме низкой точности, или это также может быть обычная «игра чисел» в рекламе.
2. Видеопамять/унифицированная память (128 ГБ)
• Для различных моделей ИИ ёмкость видеопамяти является ключевым показателем «способности вписываться в модель»; 128 ГБ достаточно для поддержки выводов и среднемасштабного обучения.
• При обучении модели параметров 10~20B (или более) используйте методы точности смешивания или тонкой настройки, чтобы максимально эффективно использовать эту большую память.
3. Пропускная способность памяти (~512 ГБ/с)
• Пропускная способность определяет, может ли вычислительное ядро «поглотить данные».
•Хотя это не так хорошо, как уровень дата-центра (1 ТБ/с~2 ТБ/с и более), это уже высокий уровень для персональной платформы или рабочей станции.
• Сбалансированность вычислительной мощности и пропускной способности также зависит от оптимизации кэша/оператора в архитектуре. Возможно, достаточно просто посмотреть на цифры, но и на реальный беговой счёт.
4. Цена и экология
• Одна карта стоимостью около $3,000 (если это правда) привлекательна для многих разработчиков или небольших команд; Это потенциальная точка конкуренции с потребительскими высококлассными GPU, такими как RTX 4090.
• Однако если стек программного обеспечения (драйверы, компиляторы, фреймворки глубокого обучения) не идеален, высокая вычислительная мощность всё равно может «лечь и поглощать прах».
───────────
3. Влияние на задачи крупных моделей
───────────
1. Рассуждение на основе больших моделей
• 128 ГБ видеопамяти достаточно, чтобы поддерживать миллиарды-десятки миллиардов моделей параметров, «загружаемых в память одновременно» в полуточном или квантованном режиме, а эффективность вывода, вероятно, будет довольно высокой.
• Если пропускная способность и кэш используются хорошо, задержка и пропускная способность при выводе могут быть удовлетворительными.
2. Обучение малого и среднего масштаба
• Для моделей с сотнями миллионов до миллиардов параметров возможно запускать весь процесс обучения с разной точностью на этой карте.
• Для моделей 30B~70B обычно требуются методы квантования или многокарточный параллелизм, но для небольших команд это всё ещё более доступный метод, чем дорогие решения для дата-центров.
3. Узкие места пропускной способности и трата вычислительной мощности
• 250 TFLOPS требуют эффективного передачи данных для полного использования.
• 512 ГБ/с — это не «малое число», но сможет ли он действительно выполнять полную вычислительную мощность зависит от измеряемой и операторской настройки.
────────────
4. Краткое сравнение с другими вариантами
────────────
1. Серия Apple M4
• M4 Pro/Max также известен своей высокой пропускной способностью и вычислительной мощностью; Однако с точки зрения реальной совместимости фреймворков и оптимизации глубокого обучения он пока не дотягивает до уровня NVIDIA.
• Если у «Project Digits» нет зрелой экосистемы, он также может пойти по стопам GPU Apple. Независимо от качества железа, прорваться сложно, если программная адаптация не реализована.
2. Настольная карта NVIDIA (например, RTX 4090)
•RTX 4090 обладает сильной вычислительной мощностью и значительной пропускной способностью, но на некоторых крупных моделях будет «растянуто» только 24 ГБ.
• Когда требуется несколько карт параллельно, стоимость и энергопотребление резко растут, и, очевидно, что «Project Digits» удобнее предоставлять 128 ГБ на одной карте.
3. GPU для дата-центра (A100/H100)
• Эти GPU уровня Big Brother стоят десятки тысяч или даже десятки тысяч долларов, производительность и экология бесспорны, но не каждый может себе их позволить.
•Если «Project Digits» действительно позволяет небольшим командам иметь большую видеопамять и высокую вычислительную мощность с более низким порогом, возможно, они получат свою долю пирога.
──────────
5. Возможные трудности и опасения
──────────
1. Экология программного обеспечения и зрелость драйвера
• CUDA — секретное оружие NVIDIA. Без аналогичной надёжной экосистемы «Project Digits» трудно стать популярными в большом масштабе.
2. Фактическая скорость поступления вычислительной мощности/пропускной способности
• У самого запускающегося оператора множество режимов доступа к памяти, и если нет оптимизации, максимальная производительность может сохраняться только в рекламных материалах.
3. Потребление энергии, рассеивание тепла и адаптация к окружающей среде
• Большая видеопамять и высокая вычислительная мощность часто означают высокое энергопотребление. Если личные или небольшие рабочие места не готовы к рассеиванию тепла, они могут столкнуться с «маленькой плитой».
4. Аутентичность поставок и ценообразования
• Наблюдать, появится ли в будущем официальная информация или реальные обзоры продуктов; Если это просто концептуальный продукт, то это может быть и «пустая радость».
─────
6. Краткое содержание
─────
Если «Project Digits» сможет предложить 128 ГБ видеопамяти и 250 TFLOPS (fp16), плюс выгодную цену около $3,000, это будет очень привлекательно для разработчиков, желающих развернуть средние модели локально или в небольших лабораториях.
Однако аппаратные параметры — это всего лишь одна сторона; Ключ к успеху или неудаче — это драйвер, компилятор, фреймворк глубокого обучения и другое программное обеспечение.
В настоящее время этот проект всё ещё находится на стадии «срочных новостей» и «публичности», и сможет ли он изменить существующую рыночную модель, зависит от последующего процесса продуктовизации и реального показателя эффективности.
|
Опубликовано 2025-2-13 09:43:00
|
|
|
|
Хозяин|
Опубликовано 21.02.2025 14:16:38
|
