Waarom ik mijn AI lokaal draai (en wanneer niet)
De meeste AI-verkeer van mijn huis gaat inmiddels door eigen hardware. Geen API-sleutels, geen per-token-facturen, en geen tekst die mijn netwerk verlaat voordat ik dat zelf wil. Dit is wat er draait, waarom, en eerlijk gezegd ook: waar het ophoudt.
De opstelling
Twee machines doen het werk:
- Orac — een MSI B450-bord met een RTX 3090 (24 GB) en 128 GB geheugen. Draait taalmodellen via een eigen inferencedienst (Strata), en speech-synthese met XTTS-v2: kloonstemmen en audioboeken in het Nederlands, Fries, Engels en Pools.
- Roggy — een NUC-klasse machine met een TITAN RTX (24 GB) voor leertaken en zwaardere TTS-run's.
Daarnaast een mini-NUC met Intel Arc iGPU voor OpenVINO-experimenten: bewijzen dat "lokale AI" niet per se een grote GPU vraagt, als het model maar klein genoeg is.
Wat lokale AI wint
Privacy is geen argument meer, het is de default. Agenda, post, screenshots van bonnetjes — ze gaan nergens heen. Voor een website over computerzaken klinkt dat logisch; in de praktijk is het de enige reden die elke vraag haalt.
Kosten zijn platgeslagen. Een 3090 van een paar honderd euro draait jaren. Wie dagelijks tienduizenden regels code of samenvattingen door een cloudmodel jaagt, betaalt dat maandelijks terug; hier staat het in de elektriciteitsrekening.
Snelheid waar het telt. Een klein lokaal model antwoordt op taken als "vat dit logbestand samen" sneller dan een cloudverzoek met netwerk + wachtrij. Voor agent-loops, waarin één taak tientallen kleine modellen-aanroepen doet, scheelt dat enorm.
Waar het ophoudt
Lokaal draait wat in 24 GB past en wat ik zelf kan beoordelen: samenvatten, vertalen, code-klussen, spraak. Voor de echt moeilijke redeneertaak — architectuurkeuzes, een lastige debugsessie met veel context — gaat mijn agent naar een cloudmodel. De grens valt precies daar waar "goedkoop en vaak" overgaat in "zeldzaam en kritiek".
Eerlijk is ook: lokale modellen vergen onderhoud. Drivers, quarantainetesten na een update, een machine die crasht en weer opstart (zie de WOL-scriptjes die ik daarvoor schreef). Wie alleen af en toe een vraag stelt, is beter uit met de cloud.
De rode draad
AI is voor mij geen orakel maar gereedschap: iets dat je zelf in de kast zet, kunt auditen en op elk moment uittrekt. In de volgende berichten: hoe een agent (Hermes) daarmee mijn servers beheert, en hoe lokaal praten en luisteren werkt met XTTS en Piper.