• Caractéristiques du constructeur, rien d'approximatif
  • Chaque machine associée aux modèles qu'elle peut faire tourner
  • Livraison dans le monde entier, droits et taxes inclus
Du matériel pour faire tourner des modèles d'IA

Quel modèle ?

Quelle machine pour quel modèle

C'est la mémoire qui décide quels modèles tiennent. Choisissez une taille de modèle et une qualité, et voyez toutes les machines et cartes que nous vendons capables de le charger.

1. Taille du modèle
2. Qualité (quantification)

Le 4 bits est le choix habituel à la maison : environ deux fois moins de mémoire qu'en 8 bits, pour une légère perte de qualité.

30–34B en 4 bits

Environ 20 GB de mémoire GPU

Le meilleur compromis pour beaucoup : des réponses nettement plus pertinentes, toujours sur une seule carte de 24 à 32 GB en 4 bits.

Exemples : Gemma 2 27B, Qwen2.5 32B

13 machines et cartes sur 21 peuvent le faire tourner

Tous les chiffres sont approximatifs. Nous comptons environ (paramètres × bits ÷ 8) pour les poids, plus 20–30 % pour le contexte et les tampons, puis considérons comme utilisables 90 % de la mémoire d'une carte graphique et 75 % de celle d'un système à mémoire unifiée. Les contextes longs, les modèles d'image et le traitement par lots demandent davantage. Chaque carte est comptée seule ; plusieurs cartes peuvent être combinées dans une même machine.

Vous hésitez ?

Indiquez à l'assistant ce que vous voulez faire tourner et votre budget.

Un doute ? Demandez