Warum ich meine KI lokal betreibe (und wann nicht)
Der meiste KI-Verkehr in meinem Haus läuft inzwischen über eigene Hardware. Keine API-Schlüssel, keine Token-Rechnungen, und kein Text verlässt mein Netzwerk, bevor ich das nicht selbst will. Das läuft, das ist der Grund – und ehrlich gesagt auch: hier hört es auf.
Die Aufstellung
Zwei Maschinen machen die Arbeit:
- Orac – ein MSI-B450-Board mit einer RTX 3090 (24 GB) und 128 GB Arbeitsspeicher. Er bedient Sprachmodelle über einen eigenen Inferenzdienst (Strata) und Speech-Synthese mit XTTS-v2: geklonte Stimmen und Hörbücher auf Niederländisch, Friesisch, Englisch und Polnisch.
- Roggy – eine Maschine in NUC-Klasse mit einer TITAN RTX (24 GB) für Lernaufgaben und schwerere TTS-Läufe.
Dazu ein Mini-NUC mit Intel-Arc-iGPU für OpenVINO-Experimente: der Beweis, dass „lokale KI" nicht zwingend eine große GPU braucht, solange das Modell klein genug ist.
Wo lokale KI gewinnt
Privatsphäre ist kein Argument mehr, sie ist der Standard. Kalender, Post, Screenshots von Belegen – nichts davon geht irgendwohin. Für eine Website über Computertechnik klingt das selbstverständlich; in der Praxis ist es der einzige Grund, der jede Frage übersteht.
Kosten sind geglättet. Eine 3090 für ein paar hundert Euro läuft Jahre. Wer täglich zehntausende Zeilen Code oder Zusammenfassungen durch ein Cloud-Modell jagt, zahlt das monatlich zurück; hier steht es einfach auf der Stromrechnung.
Tempo, wo es zählt. Ein kleines lokales Modell antwortet auf „fasse dieses Logfile zusammen" schneller als ein Cloud-Request mit Netzwerk + Warteschlange. Für Agent-Loops, bei denen eine Aufgabe Dutzende kleine Modellaufrufe macht, summiert sich das enorm.
Wo es aufhört
Lokal läuft, was in 24 GB passt und was ich selbst beurteilen kann: zusammenfassen, übersetzen, Code-Arbeiten, Sprache. Für die wirklich schwere Denkaufgabe – Architekturentscheidungen, eine zähe Debugging-Sitzung mit viel Kontext – greift mein Agent auf ein Cloud-Modell zurück. Die Grenze verläuft genau dort, wo „billig und häufig" in „selten und kritisch" übergeht.
Ehrlich auch das: lokale Modelle brauchen Pflege. Treiber, Quarantänetests nach einem Update, ein Rechner, der abstürzt und wieder hochkommen muss (siehe die WOL-Skripte, die ich dafür geschrieben habe). Wer nur gelegentlich eine Frage stellt, fährt mit der Cloud besser.
Der rote Faden
KI ist für mich kein Orakel, sondern Werkzeug: etwas, das man in den eigenen Schrank stellt, auditieren und jederzeit abstecken kann. In den nächsten Beiträgen: wie ein Agent (Hermes) damit meine Server verwaltet, und wie lokales Sprechen und Hören mit XTTS und Piper funktioniert.