• Specifiche del produttore, niente a occhio
  • Ogni macchina abbinata ai modelli che può eseguire
  • Spedizione in tutto il mondo, dazi e tasse inclusi
Hardware per eseguire modelli di IA

Modelli compatibili

Quale macchina esegue quale modello

È la memoria a decidere quali modelli ci stanno. Scelga dimensione e qualità del modello e veda tutte le macchine e le schede in vendita in grado di caricarlo.

1. Dimensione del modello
2. Qualità (quantizzazione)

A casa si sceglie di solito il 4 bit: circa metà della memoria dell'8 bit, con una piccola perdita di qualità.

30–34B a 4 bit

Circa 20 GB di memoria GPU

Il punto di equilibrio per molti: risposte sensibilmente più intelligenti, ancora su una singola scheda da 24–32 GB a 4 bit.

Esempi: Gemma 2 27B, Qwen2.5 32B

13 macchine e schede su 21 possono eseguirlo

Tutti i valori sono indicativi. Calcoliamo circa (parametri × bit ÷ 8) per i pesi più un 20–30% per contesto e buffer, poi consideriamo utilizzabile il 90% della memoria di una scheda video e il 75% di quella di un sistema a memoria unificata. Contesti lunghi, modelli di immagini e batching richiedono di più. Ogni scheda è considerata da sola; più schede possono essere combinate in un'unica macchina.

Indeciso?

Indichi all'assistente cosa vuole eseguire e il suo budget.

Dubbi? Chieda a noi