|
|
Опубликовано 2025-3-10 14:46:38
|
|
|
|
Требования: При развертывании большой языковой модели (DeepSeek, qwen2.5) VRAM-память нужной GPU варьируется в зависимости от количества параметров, активации, размера пакетной обработки и коэффициентов точности модели.
Введение в VRAM
VRAM (англ. Video RAM, то есть Video Random Access Memory) — это тип компьютерной памяти, предназначенной для хранения графических данных, таких как пиксели. DRAM (память), используемая в качестве видеокарты и видеокарты, представляет собой двухпортовую память с произвольным доступом, позволяющую одновременно использовать RAMDAC с обработкой изображений. Обычно он может состоять из двух частей: первая — цифровая электронная часть, которая используется для принятия команды микропроцессора и форматирования полученных данных. Вторая — это генератор изображений, который используется для дальнейшего формирования вышеуказанных данных в видеосигнал.
Ручные вычисления
Формула оценки использования VRAM следующая:
Адрес для справки:Вход по гиперссылке виден.
VRAM-оценщик
Этот инструмент может оценивать использование GPU VRAM для моделей на основе трансформаторов для вывода и обучения. Он позволяет вводить различные параметры, такие как название модели, точность, максимальная длина последовательности, размер пакета, количество GPU. Предоставляет подробный разбор параметров, активации, выходов и использования VRAM для ядер CUDA.
Адрес:Вход по гиперссылке виден., как показано на рисунке ниже:
Калькулятор памяти модели Hugging Face Accelerate
Этот инструмент рассчитывает использование памяти модели, используемой для вывода и обучения. Поскольку это ссылка на Hugging Face, вы можете ввести название или URL модели, и инструмент предоставит полный разбор использования памяти, включая тип данных, самый большой уровень, общий размер и использование обучающей памяти с помощью различных оптимизаторов.
Адрес:Вход по гиперссылке виден.
Могу ли я запустить этот LLM
Это более комплексный инструмент на базе трансформаторов, который позволяет вводить различные параметры и предоставляет детальный разбор использования памяти. Даёт представление о том, как распределяется и используется память во время вывода и обучения.
Адрес:Вход по гиперссылке виден., как показано на рисунке ниже:
|
Предыдущий:Двойная точность (FP64), Одинарная точность (P32, TF32), Полуточность (FP16, BF16)Следующий:Node.js Прочитать все файлы в папке (включая подпапки)
|
