• Daten vom Hersteller, nichts geschätzt
  • Jeder Rechner passend zu den Modellen, die er schafft
  • Weltweite Lieferung, Zölle und Steuern inklusive
KI-Beschleuniger

Kategorie

KI-Beschleunigerkarten und Desktops für die Modellentwicklung

KI-Beschleunigerkarten und Desktops, die zuerst für KI gebaut sind: Tenstorrent-Karten mit quelloffenem Software-Stack und der Desktop NVIDIA DGX Spark.

Der Funke für etwas Großes: NVIDIA DGX Spark ist daOffizielles Video · NVIDIA

Entscheiden Sie bei einem KI-Beschleuniger zuerst nach der Software. Der NVIDIA DGX Spark ist ein CUDA-Entwicklungsrechner mit 128 GB, dessen Code sich auf größere DGX-Systeme und in die Cloud übertragen lässt. Die Tenstorrent-Karten nutzen einen vollständig quelloffenen Stack, den Sie bis hinunter zu den Kernels programmieren können. Wenn Sie große Modelle vor allem schnell ausführen statt entwickeln wollen, passt ein Mac Studio oder eine Grafikkarte oft besser.

Unsere Auswahl

3 Produkte

So wählen Sie einen KI-Beschleuniger

CUDA oder Open Source
Der DGX Spark wird mit dem KI-Software-Stack von NVIDIA ausgeliefert. Darauf geschriebener Code lässt sich mit wenigen Änderungen auf größere DGX-Systeme übertragen. Tenstorrent-Karten nutzen TT-Metalium und TT-Forge, quelloffen von den Low-Level-Kernels bis zum Modell-Compiler. Es sind keine CUDA-Karten.
Zuerst die Modellunterstützung prüfen
Prüfen Sie vor dem Kauf einer Tenstorrent-Karte, ob die benötigten Modelle in der quelloffenen Modellbibliothek von Tenstorrent enthalten sind. Bei der Wormhole n300 sind die 24 GB auf 12 GB pro Chip aufgeteilt, größere Modelle brauchen daher eine funktionierende Multi-Chip-Version.
Der Speicher setzt die Grenze
Nach der Regel unseres Modell-Ratgebers fasst der gemeinsame Arbeitsspeicher des Spark mit 128 GB ein 70B-Modell in 8 Bit oder ein Modell der 120B-Klasse in 4 Bit. Die Blackhole p150a hat 32 GB GDDR6 mit 512 GB/s, genug Speicher für ein Modell der 30B-Klasse in 4 Bit, sofern die Bibliothek es unterstützt.
Kapazität ist nicht Geschwindigkeit
Die Speicherbandbreite des Spark liegt bei 273 GB/s, die einer RTX 5090 bei 1.792 GB/s. Große dichte Modelle erzeugen Text darauf langsamer. Mixture-of-Experts-Modelle lesen pro Token nur einen Teil ihrer Gewichte und spüren den Unterschied weniger.
Skalierung einplanen
Zwei DGX Spark lassen sich über das integrierte ConnectX-7-Netzwerk mit 200 Gb/s verbinden. Die p150a hat vier QSFP-DD-800G-Ports, die n300 zwei QSFP-DD-Ports, um Karten zu verketten. Jede Tenstorrent-Karte nimmt 300 W auf und braucht einen PCIe-x16-Steckplatz. Planen Sie Netzteil und Kühlung des Host-Rechners entsprechend.

Häufige Fragen

Soll ich einen KI-Beschleuniger oder eine Grafikkarte kaufen?

Einen Beschleuniger kaufen Sie wegen seiner Software: den DGX Spark für CUDA-Entwicklung mit 128 GB, eine Tenstorrent-Karte für einen offenen Stack. Für die höchste Geschwindigkeit bei Modellen bis etwa 30B oder wenn Sie auch spielen, ist eine Grafikkarte wie die RTX 5090 die bessere Wahl.

Läuft mein CUDA-Code auf einer Tenstorrent-Karte?

Nein. Tenstorrent-Karten nutzen einen eigenen Open-Source-Stack, TT-Metalium und TT-Forge. Prüfen Sie vor dem Kauf, ob Ihre Modelle in Tenstorrents Modellbibliothek unterstützt werden.

Läuft auf dem DGX Spark Windows, und kann ich darauf spielen?

Nein. Er arbeitet mit einer Arm-CPU und NVIDIA DGX OS, einem Linux-System auf Basis von Ubuntu. Software, die nur für x86-Windows entwickelt wurde, läuft nicht, und zum Spielen ist er nicht gedacht.

Kann ich auf dem DGX Spark Modelle feintunen?

Ja. Fine-Tuning braucht mehr Speicher als das Ausführen eines Modells, parametereffiziente Verfahren wie LoRA senken diesen Bedarf deutlich. Die 128 GB des Spark bieten Platz für diese Arbeit bei Modellgrößen, die eine 32-GB-Karte nicht erreicht.

Verwandte Seiten: Hardware für lokale KI · Apple