• Specificaties van de fabrikant, niets gegokt
  • Elke machine gekoppeld aan de modellen die hij kan draaien
  • Wereldwijd geleverd, invoerrechten en belastingen inbegrepen

Hoeveel geheugen heb je nodig voor een lokaal LLM?

Bijgewerkt op 17 november 2026 · 5 min lezen

Geheugen bepaalt welke modellen je kunt draaien; snelheid komt op de tweede plaats. Een 7–8B-model heeft op 4-bit ongeveer 6 GB nodig, een 70B-model ongeveer 42 GB, en de grootste open modellen die de meeste mensen thuis draaien ongeveer 80 GB. Hier lees je waar die getallen vandaan komen en welke machines eraan voldoen.

Het korte antwoord#

ModelgrootteVoorbeelden4-bit8-bitWat het aankan op 4-bit
7–8BLlama 3.1 8B, Mistral 7B, Qwen2.5 7Bongeveer 6 GBongeveer 10 GBVrijwel elke moderne videokaart of Mac
13–14BPhi-4, Qwen2.5 14Bongeveer 10 GBongeveer 16 GBEen kaart met 16 GB, of een Mac mini met 24 GB
27–34BGemma 2 27B, Qwen2.5 32Bongeveer 20 GBongeveer 38 GBEén kaart met 24 GB of 32 GB
70BLlama 3.3 70B, Qwen2.5 72Bongeveer 42 GBongeveer 80 GBTwee kaarten met 24 GB, één kaart met 48 GB, of 64 GB+ unified memory
120B+gpt-oss-120b (MoE), Mistral Large 2ongeveer 80 GBongeveer 140 GBEen kaart met 96 GB of een systeem met 128 GB unified memory

Deze getallen zijn bewust voorzichtig gekozen. Zie ze als het minimum voor een comfortabele opstelling, niet als een grens waar je je model nog net in probeert te proppen.

Waar de getallen vandaan komen#

De vuistregel is eenvoudig: de gewichten van een model nemen ongeveer parameters × bits ÷ 8 bytes in beslag. Een 70B-model op 4-bit komt zo op ongeveer 35 GB aan gewichten. Tel daar 20–30% bij op voor de context (de KV cache), runtimebuffers en wat het besturingssysteem zelf gebruikt, en je komt uit op ongeveer 42 GB.

Modellen worden meestal uitgebracht op 16-bit precisie, waarbij elk miljard parameters 2 GB in beslag neemt. Een 8B-model is dan al 16 GB aan gewichten, nog voordat er iets anders wordt geladen. Daarom draaien weinig mensen thuis op volle precisie.

Vier dingen verhogen de geheugenbehoefte:

4-bit of 8-bit?#

Bij kwantisatie wordt elk gewicht in minder bits opgeslagen. Op 4-bit gebruikt een model ongeveer de helft van het geheugen dat het op 8-bit nodig heeft, met een klein kwaliteitsverlies. Zo draaien de meeste mensen modellen thuis. Op 8-bit blijft meer van de oorspronkelijke kwaliteit behouden, maar heb je ongeveer twee keer zoveel geheugen nodig.

Voor chat en algemeen gebruik vinden veel mensen een groter model op 4-bit nuttiger dan een kleiner model op 8-bit in hetzelfde geheugen. Voor programmeren of het exact uitlezen van gegevens, waar kleine fouten zich wreken, is 8-bit het geheugen waard als je het hebt.

Videogeheugen versus unified memory#

Op een videokaart staat het model in het eigen geheugen van de kaart (VRAM). Onze modelgids rekent ongeveer 90% daarvan als bruikbaar.

Machines met Apple silicon, Ryzen AI Max+ en DGX Spark delen één pool unified memory tussen de CPU en de GPU. Het besturingssysteem reserveert een deel daarvan en er gelden GPU-limieten, dus de modelgids rekent ongeveer 75% als bruikbaar. Op Ryzen AI Max+-machines onder Windows kan de GPU tot 96 GB van de 128 GB krijgen; onder Linux kun je meer toewijzen. Ook macOS reserveert een deel van de pool voor het systeem.

In de praktijk: een Mac mini met 24 GB heeft ongeveer 18 GB voor modellen. Dat is genoeg voor een 14B-model op 8-bit, maar niet voor een 30B-model op 4-bit. Dezelfde Mac mini met 64 GB heeft ongeveer 48 GB, genoeg voor een 70B-model op 4-bit.

Past een model maar net, dan komt het in de problemen naarmate het gesprek langer wordt. Houd ruimte over voor de context.

Geheugen bepaalt wat past, bandbreedte bepaalt de snelheid#

Als een model eenmaal past, hangt de schrijfsnelheid vooral af van de geheugenbandbreedte, omdat voor elk nieuw token de gewichten worden doorgelezen; een model dat overloopt naar het systeemgeheugen wordt flink trager. De RTX 5090 haalt 1.792 GB/s, de Mac Studio met M3 Ultra 819 GB/s, en de Mac mini met M4 Pro en de DGX Spark elk 273 GB/s. Een model dat op twee van deze machines past, schrijft doorgaans sneller op de machine met de meeste bandbreedte.

Welke machine voor welke modelgrootte#

Een goedkopere machine volstaat als je werk met de kleine modellen af kan. Samenvatten, chatten, code aanvullen en zoeken in je eigen documenten werkt allemaal met modellen van 7–14B, en die passen in 16 GB. De modelgids laat voor elk product dat we verkopen zien wat past.

Veelgestelde vragen

Kan ik een 70B-model draaien op een videokaart met 32 GB?

Niet echt prettig. Op 4-bit heeft het ongeveer 42 GB nodig. Tools kunnen een deel van het model naar het systeemgeheugen verplaatsen, maar dat deel draait veel trager. Reken voor 70B op twee kaarten met 24 GB, één kaart met 48 GB of een machine met unified memory van 64 GB of meer.

Telt het systeemgeheugen van mijn pc mee?

Op een pc met een videokaart draait alleen het geheugen van de kaart op volle snelheid. Sommige tools kunnen een deel van een model in het systeemgeheugen plaatsen, maar dat kost veel snelheid. Op machines met unified memory is de gedeelde pool het geheugen dat de GPU gebruikt.

Hoeveel extra geheugen hebben lange documenten nodig?

Het contextgeheugen groeit mee met de lengte, dus reken op wat ruimte boven de waarden in de tabel. Kies voor lange documenten of lange chats de volgende geheugengrootte, niet de grootte waarin het model maar net past.

Is 8-bit twee keer zoveel geheugen waard?

Voor algemene chat draaien de meeste mensen op 4-bit en is het kwaliteitsverlies klein. Voor programmeren of het nauwkeurig uitlezen van gegevens is 8-bit de moeite waard als je het geheugen hebt.

Bekijk welke machine jouw model draaitKies een modelgrootte en zie elke machine en kaart met genoeg geheugen om het te laden.Vraag een systeem op maat aanVertel ons wat je wilt draaien, je budget en je land. We antwoorden met een configuratie en een offerte.Twijfel je nog? Vraag hetVraag de assistent naar deze gids, je budget of wat je wilt draaien en krijg meteen antwoord.

Producten bij dit onderwerp: Hardware voor lokale AI · Videokaarten · Apple