• Especificaciones del fabricante, nada inventado
  • Cada equipo, con los modelos que puede ejecutar
  • Envíos a todo el mundo, aranceles e impuestos incluidos
Hardware para ejecutar modelos de IA

Qué modelo cabe

Qué equipo ejecuta cada modelo

La memoria decide qué modelos caben. Elija un tamaño de modelo y una calidad, y vea todos los equipos y tarjetas que vendemos capaces de cargarlo.

1. Tamaño del modelo
2. Calidad (cuantización)

Los 4 bits son la opción habitual en casa: aproximadamente la mitad de memoria que a 8 bits, con una pequeña pérdida de calidad.

30–34B a 4 bits

Unos 20 GB de memoria de GPU

El punto óptimo para mucha gente: respuestas notablemente más inteligentes y aún basta una sola tarjeta de 24–32 GB a 4 bits.

Ejemplos: Gemma 2 27B, Qwen2.5 32B

13 de 21 equipos y tarjetas pueden ejecutarlo

Todas las cifras son aproximadas. Contamos aproximadamente (parámetros × bits ÷ 8) para los pesos más un 20–30 % para el contexto y los búferes, y consideramos utilizable el 90 % de la memoria de una tarjeta gráfica y el 75 % de la de un sistema con memoria unificada. Los contextos largos, los modelos de imagen y el procesamiento por lotes necesitan más. Cada tarjeta se cuenta por separado; se pueden combinar varias en un mismo equipo.

¿Duda cuál elegir?

Indique al asistente qué quiere ejecutar y su presupuesto.

¿Tiene dudas? Pregunte