• Specifiche del produttore, niente a occhio
  • Ogni macchina abbinata ai modelli che può eseguire
  • Spedizione in tutto il mondo, dazi e tasse inclusi
Acceleratori IA

Categoria

Schede acceleratrici IA e desktop per sviluppare modelli

Schede acceleratrici IA e desktop progettati prima di tutto per l'IA: le schede Tenstorrent con uno stack software open source e il desktop NVIDIA DGX Spark.

Sta per accendersi qualcosa di grande: è arrivato NVIDIA DGX SparkVideo ufficiale · NVIDIA

Un acceleratore IA si sceglie prima di tutto in base al software. NVIDIA DGX Spark è una macchina di sviluppo CUDA da 128 GB, con codice che si trasferisce su sistemi DGX più grandi e sul cloud; le schede Tenstorrent usano uno stack interamente open source, programmabile fino ai kernel. Se l'obiettivo è soprattutto eseguire rapidamente modelli grandi, più che svilupparli, spesso è più adatto un Mac Studio o una scheda video.

La nostra selezione

3 prodotti

Come scegliere un acceleratore IA

CUDA o open source
Il DGX Spark viene fornito con lo stack software IA di NVIDIA: il codice sviluppato su questa macchina si trasferisce su sistemi DGX più grandi con poche modifiche. Le schede Tenstorrent usano TT-Metalium e TT-Forge, open source dai kernel di basso livello fino al compilatore di modelli. Non sono schede CUDA.
Verificare prima la compatibilità dei modelli
Prima di acquistare una scheda Tenstorrent, si consiglia di verificare che i modelli necessari siano presenti nella libreria di modelli open source di Tenstorrent. Sulla Wormhole n300 i 24 GB sono divisi in 12 GB per chip, quindi i modelli più grandi richiedono una versione multi-chip funzionante.
La memoria fissa il limite
Secondo il criterio della nostra guida ai modelli, i 128 GB di memoria unificata dello Spark contengono un modello 70B a 8 bit o un modello di classe 120B a 4 bit. La Blackhole p150a ha 32 GB di GDDR6 a 512 GB/s, memoria sufficiente per un modello di classe 30B a 4 bit, se la libreria lo prevede.
Capacità non significa velocità
La banda di memoria dello Spark è di 273 GB/s, contro i 1.792 GB/s di una RTX 5090. Con i modelli densi di grandi dimensioni la generazione di testo è più lenta; i modelli mixture-of-experts, che leggono solo una parte dei pesi per ogni token, risentono meno della differenza.
Pianificare l'espansione
Due DGX Spark si collegano tra loro tramite la rete ConnectX-7 integrata a 200 Gb/s. La p150a dispone di quattro porte QSFP-DD 800G e la n300 di due porte QSFP-DD per collegare più schede in catena. Ogni scheda Tenstorrent assorbe 300 W e richiede uno slot PCIe x16: occorre quindi prevedere un'alimentazione e un flusso d'aria adeguati nel sistema host.

Domande frequenti

Meglio un acceleratore IA o una scheda video?

Un acceleratore si sceglie per il suo software: il DGX Spark per lo sviluppo CUDA con 128 GB, una scheda Tenstorrent per uno stack aperto. Per la massima velocità con modelli fino a circa 30B, o se la si usa anche per giocare, una scheda video come la RTX 5090 è la scelta migliore.

Il mio codice CUDA funziona su una scheda Tenstorrent?

No. Le schede Tenstorrent usano un proprio stack open source, TT-Metalium e TT-Forge. Prima dell'acquisto si consiglia di verificare che i modelli che interessano siano presenti nella libreria di modelli di Tenstorrent.

Il DGX Spark può eseguire Windows o i giochi?

No. Usa NVIDIA DGX OS, un sistema Linux basato su Ubuntu, su una CPU Arm. Il software pensato solo per Windows x86 non funziona; inoltre non è una macchina da gioco.

È possibile fare il fine-tuning dei modelli sul DGX Spark?

Sì. Il fine-tuning richiede più memoria dell'esecuzione di un modello, e metodi parameter-efficient come LoRA riducono nettamente questo fabbisogno. I 128 GB dello Spark lasciano spazio a questo lavoro con modelli di dimensioni che una scheda da 32 GB non può gestire.

Pagine correlate: Hardware per l'IA locale · Apple