• Daten vom Hersteller, nichts geschätzt
  • Jeder Rechner passend zu den Modellen, die er schafft
  • Weltweite Lieferung, Zölle und Steuern inklusive

Wie viel Arbeitsspeicher braucht ein lokales LLM?

Aktualisiert am 17. November 2026 · 5 Min. Lesezeit

Der Speicher entscheidet, welche Modelle Sie ausführen können; die Geschwindigkeit kommt erst danach. Ein 7–8B-Modell braucht mit 4 Bit etwa 6 GB, ein 70B-Modell etwa 42 GB und die größten offenen Modelle, die die meisten zu Hause nutzen, etwa 80 GB. Hier erfahren Sie, woher diese Zahlen kommen und welche Rechner diese Anforderungen erfüllen.

Die kurze Antwort#

ModellgrößeBeispiele4-bit8-bitWas es mit 4 Bit schafft
7–8BLlama 3.1 8B, Mistral 7B, Qwen2.5 7Betwa 6 GBetwa 10 GBFast jede aktuelle Grafikkarte oder jeder Mac
13–14BPhi-4, Qwen2.5 14Betwa 10 GBetwa 16 GBEine Grafikkarte mit 16 GB oder ein Mac mini mit 24 GB
27–34BGemma 2 27B, Qwen2.5 32Betwa 20 GBetwa 38 GBEine Grafikkarte mit 24 GB oder 32 GB
70BLlama 3.3 70B, Qwen2.5 72Betwa 42 GBetwa 80 GBZwei Grafikkarten mit 24 GB, eine mit 48 GB oder mindestens 64 GB gemeinsamer Arbeitsspeicher
120B+gpt-oss-120b (MoE), Mistral Large 2etwa 80 GBetwa 140 GBEine Grafikkarte mit 96 GB oder ein System mit 128 GB gemeinsamem Arbeitsspeicher

Diese Werte sind bewusst vorsichtig angesetzt. Verstehen Sie sie als Untergrenze für einen komfortablen Betrieb, nicht als Wert, den Sie gerade so erreichen sollten.

Woher die Zahlen kommen#

Die Faustregel ist einfach: Die Gewichte eines Modells belegen etwa Parameter × Bit ÷ 8 Byte. Ein 70B-Modell mit 4 Bit kommt auf rund 35 GB Gewichte. Rechnen Sie 20–30 % für den Kontext (den KV cache), Laufzeitpuffer und den Anteil des Betriebssystems hinzu, landen Sie bei etwa 42 GB.

Modelle erscheinen meist mit 16-Bit-Genauigkeit, bei der jede Milliarde Parameter 2 GB belegt. Ein 8B-Modell hat damit 16 GB Gewichte, bevor überhaupt etwas anderes geladen ist. Deshalb nutzen zu Hause nur wenige die volle Genauigkeit.

Vier Faktoren erhöhen den Bedarf:

4 Bit oder 8 Bit?#

Bei der Quantisierung wird jedes Gewicht mit weniger Bits gespeichert. Mit 4 Bit braucht ein Modell etwa halb so viel Speicher wie mit 8 Bit, bei geringem Qualitätsverlust; so betreiben die meisten Nutzer Modelle zu Hause. Mit 8 Bit bleibt mehr von der ursprünglichen Qualität erhalten, der Speicherbedarf ist aber ungefähr doppelt so hoch.

Für Chat und allgemeine Aufgaben ist ein größeres Modell mit 4 Bit für viele nützlicher als ein kleineres mit 8 Bit im gleichen Speicher. Beim Programmieren oder bei der exakten Datenextraktion, wo kleine Fehler teuer werden, lohnt sich 8 Bit, wenn der Speicher vorhanden ist.

Grafikspeicher und gemeinsamer Arbeitsspeicher#

Bei einer Grafikkarte liegt das Modell im eigenen Speicher der Karte (VRAM). Unser Modell-Ratgeber setzt davon etwa 90 % als nutzbar an.

Bei Apple Silicon, Ryzen AI Max+ und DGX Spark teilen sich CPU und GPU einen gemeinsamen Arbeitsspeicher (Unified Memory). Das Betriebssystem belegt einen Teil davon, und es gelten GPU-Grenzen; der Modell-Ratgeber setzt daher etwa 75 % als nutzbar an. Bei Ryzen-AI-Max+-Rechnern unter Windows lassen sich der GPU bis zu 96 GB der 128 GB zuweisen, unter Linux mehr. Auch macOS reserviert einen Teil des Speichers für das System.

In der Praxis: Ein Mac mini mit 24 GB hat etwa 18 GB für Modelle frei. Das reicht für ein 14B-Modell mit 8 Bit, aber nicht für ein 30B-Modell mit 4 Bit. Derselbe Mac mini mit 64 GB bietet etwa 48 GB und damit genug für ein 70B-Modell mit 4 Bit.

Passt ein Modell nur knapp hinein, kommt es bei längeren Unterhaltungen an seine Grenzen. Lassen Sie Platz für den Kontext.

Der Speicher bestimmt, was passt, die Bandbreite das Tempo#

Passt ein Modell in den Speicher, hängt die Ausgabegeschwindigkeit vor allem von der Speicherbandbreite ab, denn für jedes neue Token werden die Gewichte gelesen. Ein Modell, das in den System-RAM ausweicht, wird deutlich langsamer. Die RTX 5090 schafft 1.792 GB/s, der Mac Studio mit M3 Ultra 819 GB/s, der Mac mini mit M4 Pro und die DGX Spark jeweils 273 GB/s. Ein Modell, das auf zwei dieser Rechner passt, läuft in der Regel auf dem mit der höheren Bandbreite schneller.

Welcher Rechner für welche Modellgröße#

Ein günstigerer Rechner genügt, wenn Ihre Aufgaben mit kleinen Modellen auskommen. Zusammenfassungen, Chat, Code-Vervollständigung und die Suche in eigenen Dokumenten funktionieren mit 7–14B-Modellen, und diese passen in 16 GB. Der Modell-Ratgeber zeigt für jedes Produkt in unserem Sortiment, welche Modelle passen.

Häufige Fragen

Kann ich ein 70B-Modell auf einer Grafikkarte mit 32 GB betreiben?

Nicht ohne Weiteres. Mit 4 Bit benötigt es etwa 42 GB. Tools können zwar einen Teil des Modells in den System-RAM auslagern, dieser Teil läuft aber deutlich langsamer. Planen Sie für 70B zwei Karten mit je 24 GB, eine Karte mit 48 GB oder einen Rechner mit gemeinsamem Arbeitsspeicher ab 64 GB ein.

Zählt der Arbeitsspeicher meines PCs mit?

Bei einem PC mit Grafikkarte läuft nur der Speicher der Karte mit voller Geschwindigkeit. Manche Tools können einen Teil des Modells in den System-RAM legen, allerdings auf Kosten eines deutlichen Tempoverlusts. Bei Rechnern mit gemeinsamem Arbeitsspeicher ist der gemeinsame Speicherpool zugleich der Speicher, den die GPU nutzt.

Wie viel zusätzlichen Speicher brauchen lange Dokumente?

Der Kontextspeicher wächst mit der Länge, planen Sie daher Reserven über die Werte in der Tabelle hinaus ein. Wählen Sie für lange Dokumente oder lange Chats die nächstgrößere Speicherausstattung statt der, in die das Modell gerade so passt.

Ist 8 Bit den doppelten Speicherbedarf wert?

Für allgemeinen Chat nutzen die meisten 4 Bit, und der Qualitätsverlust ist gering. Beim Programmieren oder bei exakter Extraktion lohnt sich 8 Bit, wenn genug Speicher vorhanden ist.

Prüfen, welcher Rechner Ihr Modell schafftWählen Sie eine Modellgröße und sehen Sie alle Rechner und Karten mit genug Speicher dafür.Wunschkonfiguration anfragenSagen Sie uns, was Sie ausführen möchten, Ihr Budget und Ihr Land. Wir antworten mit einer Konfiguration und einem Angebot.Noch unsicher? Fragen SieFragen Sie den Assistenten zu diesem Ratgeber, Ihrem Budget oder dem, was Sie ausführen möchten, und erhalten Sie sofort eine Antwort.

Passende Produkte: Hardware für lokale KI · Grafikkarten · Apple