|
|
Publicado el 10-3-2025 14:46:38
|
|
|
|
Requisitos: Al desplegar un modelo de lenguaje grande (DeepSeek, qwen2.5), la memoria VRAM de la GPU requerida varía según el número de parámetros, la activación, el tamaño del lote de procesamiento y los factores de precisión del modelo.
Introducción a la VRAM
La VRAM (en inglés: Video RAM, es decir, Video Random Access Memory) es un tipo de memoria informática dedicada a almacenar datos gráficos como píxeles. La DRAM (memoria) utilizada como tarjeta gráfica y tarjeta gráfica es una memoria de acceso aleatorio de doble puerto que permite acceder a RAMDAC simultáneamente con el procesamiento de imágenes. Generalmente puede incluir dos partes: la primera es la parte electrónica digital, que se utiliza para aceptar el comando del microprocesador y formatear los datos recibidos. la otra es la parte del generador de imágenes, que se utiliza para formar aún más los datos anteriores en una señal de vídeo.
Cálculo manual
La fórmula de estimación del uso de VRAM es la siguiente:
Dirección de referencia:El inicio de sesión del hipervínculo es visible.
Estimador de VRAM
Esta herramienta puede estimar el uso de la VRAM GPU de modelos basados en transformadores para inferencia y entrenamiento. Puede permitir la entrada de varios parámetros como nombre del modelo, precisión, longitud máxima de secuencia, tamaño del lote, número de GPUs. Proporciona un desglose detallado de los parámetros, activaciones, salidas y uso de VRAM para núcleos CUDA.
Dirección:El inicio de sesión del hipervínculo es visible., como se muestra en la figura siguiente:
Calculadora de memoria del modelo Face Accelerate de Hugging
Esta herramienta calcula el uso de memoria del modelo utilizado para inferencia y entrenamiento. Como es un enlace a Hugging Face, puedes introducir el nombre del modelo o la URL, y la herramienta proporcionará un desglose completo del uso de memoria, incluyendo el tipo de datos, el nivel más grande, el tamaño total y el uso de memoria de entrenamiento usando diferentes optimizadores.
Dirección:El inicio de sesión del hipervínculo es visible.
¿Puedo dirigir este LLM?
Esta es una herramienta más completa basada en transformadores que permite la entrada de varios parámetros y proporciona un desglose detallado del uso de memoria. Proporciona información sobre cómo se asigna y utiliza la memoria durante la inferencia y el entrenamiento.
Dirección:El inicio de sesión del hipervínculo es visible., como se muestra en la figura siguiente:
|
Anterior:Doble precisión (FP64), precisión simple (P32, TF32), media precisión (FP16, BF16)Próximo:Node.js Lee todos los archivos de la carpeta (incluidas las subcarpetas)
|
