GPU für lokale KI wählen: RTX 5090, R9700, B60
Aktualisiert am 17. November 2026 · 5 Min. Lesezeit
Zuerst der Speicher, dann die Software, dann die Geschwindigkeit. Die RTX 5090 ist die schnellste Karte mit 32 GB und vollständiger CUDA-Unterstützung. Die Radeon AI PRO R9700 bietet dieselben 32 GB bei 300 W statt 575 W, sofern Ihre Tools mit ROCm laufen. Die Intel Arc Pro B60 ist einer der einfachsten Wege zu 24 GB auf einer Karte. Für ein 70B-Modell auf einer einzelnen Karte greifen Sie zur Radeon PRO W7900 mit 48 GB oder zur RTX PRO 6000 mit 96 GB.
Die Karten im Vergleich#
| Karte | Speicher | Bandbreite | Leistungsaufnahme | Software |
|---|---|---|---|---|
| NVIDIA GeForce RTX 5090 | 32 GB GDDR7 | 1.792 GB/s | 575 W | CUDA |
| AMD Radeon AI PRO R9700 | 32 GB GDDR6 | 640 GB/s | 300 W | ROCm |
| Intel Arc Pro B60 | 24 GB GDDR6 | 456 GB/s | 120–200 W, je nach Boardpartner | Intel-Tools |
| NVIDIA GeForce RTX 4090 | 24 GB GDDR6X | 1.008 GB/s | 450 W | CUDA |
| AMD Radeon RX 7900 XTX | 24 GB GDDR6 | 960 GB/s | 355 W (Referenz) | ROCm |
| AMD Radeon PRO W7900 | 48 GB GDDR6 mit ECC | 864 GB/s | 295 W | ROCm |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB GDDR7 mit ECC | 1.792 GB/s | 600 W oder 300 W (Max-Q) | CUDA |
| Intel Arc Pro B50 | 16 GB GDDR6 | 224 GB/s | 70 W, über den Slot | Intel-Tools |
Schritt 1: Der Speicher bestimmt die Obergrenze#
- 16 GB reichen für Modelle mit 7B bis 14B in 4 Bit.
- 24 GB reichen für Modelle der 30B-Klasse in 4 Bit (etwa 20 GB), mit wenig Reserve für lange Kontexte.
- 32 GB reichen komfortabel für Modelle der 30B-Klasse in 4 Bit und für 14B-Modelle in 8 Bit.
- 48 GB fassen knapp ein 70B-Modell in 4 Bit (etwa 42 GB).
- 96 GB fassen ein 70B-Modell in 8 Bit (etwa 80 GB) oder ein Modell der 120B-Klasse in 4 Bit.
Die vollständige Tabelle finden Sie unter Wie viel Speicher brauchen Sie?, und der Modell-Ratgeber prüft jede Karte für jede Modellgröße.
Schritt 2: Die Software entscheidet über Ihren Zeitaufwand#
- CUDA (NVIDIA): Neue Tools, Paper und Trainingscode unterstützen CUDA zuerst. Nennt ein Tool eine GPU-Anforderung, ist meist CUDA gemeint.
- ROCm (AMD): PyTorch und llama.cpp unterstützen ROCm; einige Nischen-Tools setzen weiterhin CUDA voraus. Prüfen Sie, ob ROCm Ihre Karte unter Ihrem Betriebssystem unterstützt.
- Intel: llama.cpp bietet SYCL- und Vulkan-Backends, die auf Arc-Karten laufen, und Intels OpenVINO-Toolkit deckt viele Modelle ab. Prüfen Sie vorher, ob Ihre Tools unterstützt werden.
Schritt 3: Die Bandbreite bestimmt das Tempo#
Sobald ein Modell in den Speicher passt, richtet sich das Tempo der Textausgabe nach der Speicherbandbreite. Bei einem Modell, das auf alle drei Karten passt, schreibt die RTX 5090 (1.792 GB/s) spürbar schneller als die R9700 (640 GB/s) oder die B60 (456 GB/s). Ob das ins Gewicht fällt, hängt von der Aufgabe ab: Für einen Chat-Assistenten sind alle schnell genug zum Mitlesen, bei langen Batch-Jobs spart Bandbreite Stunden.

NVIDIA
NVIDIA GeForce RTX 5090
- 32 GB
- NVIDIA Blackwell (GB202)
Schafft bis zu 30–34B bei 4 Bit
Mit 32 GB laufen Modelle der 30B-Klasse in 4 Bit problemlos, ein 70B-Modell passt aber nicht auf eine Karte. Für 70B sollten Sie zwei Karten oder ein System mit großem gemeinsamem Arbeitsspeicher einplanen.
1.999 €
PowerColor
PowerColor AMD Radeon AI PRO R9700 32GB
- 32 GB
- AMD RDNA 4 (Navi 48)
Schafft bis zu 30–34B bei 4 Bit
Prüfen Sie vor dem Kauf, ob Ihre Tools ROCm auf Ihrem Betriebssystem unterstützen. PyTorch und llama.cpp tun das; einige Nischen-Tools setzen noch CUDA voraus.
1.299 €
ASRock
ASRock Intel Arc Pro B60 Creator 24GB
- 24 GB
- Intel Xe2 (Battlemage)
Schafft bis zu 30–34B bei 4 Bit
Diese Karte hat eine einzelne GPU mit 24 GB. Sie nutzt einen PCIe-5.0-Steckplatz mit x8-Anbindung und läuft auch in PCIe-4.0-Steckplätzen. Prüfen Sie vor der Bestellung im Datenblatt von ASRock die genaue Länge und den Stromanschluss.
599,99 €RTX 5090: die schnellste, wenn Ihr Netzteil mitspielt#
Die RTX 5090 gehört zu den schnellsten Einzelkarten für Modelle, die in 32 GB passen, und ist die schnellste GeForce-Karte für 4K-Gaming. Sie zieht bis zu 575 W über einen 16-poligen 12V-2x6-Anschluss, NVIDIA empfiehlt ein Netzteil mit 1.000 W. Ein 70B-Modell passt nicht auf eine einzelne Karte.
Radeon AI PRO R9700: 32 GB pro Karte, sparsam pro Watt#
Die R9700 ist eine Workstation-Karte mit RDNA 4, ausgelegt für lokale KI. Sie bietet dieselben 32 GB wie die RTX 5090, bei 300 W, und ist dafür gedacht, zu mehreren in einem Rechner zu laufen. Zwei Karten ergeben 64 GB, genug für ein 70B-Modell in 4 Bit. Der Preis dafür: geringere Bandbreite und die oben genannte ROCm-Prüfung.
Intel Arc Pro B60: der Einstieg in 24 GB#
Die Arc Pro B60 ist eine Battlemage-Karte, die von Boardpartnern gefertigt wird; Anschlüsse, Kühlung und Leistungsaufnahme (120 bis 200 W) unterscheiden sich daher je nach Modell. Sie nutzt eine PCIe-5.0-x8-Schnittstelle. Einige Partner setzen zwei B60-GPUs auf eine Platine, zusammen 48 GB; diese Dual-Karten benötigen einen Mainboard-Steckplatz mit x8/x8-Bifurcation.
Wann sich eine Karte mit 48 GB oder 96 GB lohnt#
Die Radeon PRO W7900 bietet 48 GB ECC-Speicher und zertifizierte Workstation-Treiber. Sie eignet sich für große Szenen und aufwendige Video-Timelines ebenso wie für Modelle über 32 GB. Die RTX PRO 6000 hat 96 GB ECC-GDDR7, genug für ein 70B-Modell in 8 Bit auf einer einzigen Karte. Sollen mehrere Karten in ein Gehäuse, ist die Max-Q-Version mit 300 W und Radiallüfter die richtige Wahl, für die schnellste Einzelkarte die 600-W-Version.
Eine große Karte oder zwei kleinere? Verteilt man ein Modell auf zwei Karten, addiert sich ihr Speicher, die Geschwindigkeit verdoppelt sich aber nicht. Außerdem braucht man zwei passende Steckplätze, mehr Strom und eine bessere Belüftung. Wenn das Budget reicht, ist eine einzelne Karte die einfachere Lösung.

AMD
AMD Radeon PRO W7900 (48 GB)
- 48 GB
- AMD RDNA 3 (Navi 31)
Schafft bis zu 70B bei 4 Bit
Wählen Sie die W7900, wenn die Größe von Modell oder Szene entscheidend ist. Die neuere R9700 hat weniger Speicher (32 GB), unterstützt aber FP8 und ist bei KI effizienter pro Watt.
3.592 €
NVIDIA
NVIDIA RTX PRO 6000 Blackwell Workstation Edition (96 GB)
- 96 GB
- NVIDIA Blackwell (GB202)
Schafft bis zu 120B+ bei 4 Bit
Dies ist die Workstation Edition mit 600 W und Double-Flow-Through-Kühler. Sie benötigt ein 16-Pin-Stromkabel, ein Gehäuse, das Karten mit 12 Zoll Länge aufnimmt, und einen guten Luftstrom.
13.250 €
NVIDIA
NVIDIA GeForce RTX 4090
- 24 GB
- NVIDIA Ada Lovelace (AD102)
Schafft bis zu 30–34B bei 4 Bit
Stecken Sie das 16-Pin-Stromkabel vollständig in die Karte und vermeiden Sie enge Biegungen nahe am Stecker. Ein nicht ganz eingesteckter Stecker ist die häufigste Ursache für Probleme mit dieser Karte.
1.599 €Für Gamer#
Wählen Sie die Karte passend zu Ihrem Monitor. Die RTX 5090 ist für 4K mit hohen Bildraten ausgelegt; RTX 4090 und RX 7900 XTX bleiben mit 24 GB starke 4K-Karten. In 1080p bleibt ein Großteil dieser Leistung ungenutzt.
Sind Ihre Modelle 14B groß oder kleiner, genügt eine günstigere Karte. Die Low-Profile-Karte Arc Pro B50 führt sie in 4 Bit mit 16 GB aus und kommt ohne Stromkabel aus.
Häufige Fragen
Reichen 24 GB für lokale KI?
Für Modelle bis etwa 30B in 4 Bit ja, allerdings mit wenig Spielraum für lange Kontexte. Für 70B brauchen Sie rund 42 GB: zwei 24-GB-Karten, eine 48-GB-Karte oder einen Rechner mit gemeinsamem Arbeitsspeicher (Unified Memory).
Lohnt sich die RTX 4090 noch?
Sie ist eine leistungsstarke Karte mit 24 GB und 1.008 GB/s Bandbreite, für alle, die Spitzenleistung wollen, ohne zur RTX 5090 zu greifen. Sie hat 8 GB weniger Speicher als die 5090 oder die R9700.
Kann ich NVIDIA- und AMD-Karten in einem Rechner kombinieren?
Manche Tools können beide nutzen, doch Treiber und Einrichtung werden dadurch komplizierter. Eine Marke pro Rechner ist der einfachere Weg.
Funktioniert eine PCIe-5.0-Karte in einem PCIe-4.0-Steckplatz?
Ja. Die Verbindung läuft dann mit der niedrigeren Geschwindigkeit. Liegt ein Modell vollständig im Speicher der Karte, wirkt sich die Anbindung vor allem auf die Ladezeit aus.
Passende Produkte: Grafikkarten · Hardware für lokale KI
Passende Ratgeber
Grafikkarten · 4 Min. Lesezeit
High-End-Grafikkarte einbauen: Netzteil, Gehäuse, Kühlung
Vor dem Kauf einer High-End-Grafikkarte: Netzteilleistung, 16-Pin-Stecker, Gehäusegröße, PCIe-Steckplätze, Luftstrom und Betrieb mit zwei Karten.
Ratgeber lesen →Lokale KI · 5 Min. Lesezeit
Wie viel Arbeitsspeicher braucht ein lokales LLM?
So ermitteln Sie, wie viel Arbeitsspeicher ein lokales LLM braucht: 7B- bis 120B+-Modelle mit 4 und 8 Bit, Unified Memory vs. VRAM und passende Rechner.
Ratgeber lesen →Lokale KI · 5 Min. Lesezeit
Mac, NVIDIA oder Ryzen AI Max+ für lokale KI
Mac, NVIDIA oder Ryzen AI Max+: CUDA bei NVIDIA, gemeinsamer Arbeitsspeicher beim Mac oder 128 GB im Mini-PC. Speicher, Software und Kompromisse.
Ratgeber lesen →