Wissen · Lokale KI · Teil 2 von 6
Lokale KI, Teil 2: Reicht meine Hardware?
Bevor Sie eine Grafikkarte kaufen: Prüfen Sie, was schon im Haus steht. Entscheidend ist der Grafikspeicher, und die Zahlen dazu stehen in diesem Teil.
Das Wichtigste
Reicht unsere Hardware?
- Passt das Modell nicht in den Grafikspeicher, rechnet der Prozessor, und aus Lesetempo wird Warten.
- Qwen3.5 9B belegt 6,6 GB, die 14B-Klasse gut 9 GB, die Coder-Klasse um 30B rund 19 GB.
- Faustregel: 8 GB tragen den Einstieg, 16 die gehobene Klasse, 24 die Coder-Klasse.
- Echte Messung im Film: unser Büroserver hat 2 GB (zu klein), der Laptop 4 GB (knapp für das kleinste Modell).
Ausführlich mit allen Befehlen: Teil 2 der Anleitung als Text.
Auf YouTube: Langfassung, 2:45 Minuten, mit Kapiteln und dieser Kurzfilm als Short. Beide laufen bei YouTube, also mit dessen Cookies.
Sprechertext
Was im Video gesagt wird
Bevor Sie für lokale KI eine Grafikkarte kaufen: Prüfen Sie zuerst, was schon im Haus steht.
Entscheidend ist der Grafikspeicher. Das Modell muss hineinpassen. Passt es nicht, rechnet der Prozessor, und aus Lesetempo wird Warten.
Wo Sie das sehen: Unter Windows im Task-Manager bei Leistung und GPU, auf dem Mac unter Über diesen Mac, unter Linux mit nvidia-smi. Hier echt: unser Tower hat 2 Gigabyte, zu klein; der Laptop 4, knapp für das kleinste Modell.
Ein Einstiegsmodell wie Qwen 3.5 mit 9 Milliarden Parametern belegt 6,6 Gigabyte, die 14B-Klasse gut 9 Gigabyte, die Coder-Klasse um 30B rund 19 Gigabyte.
Daraus folgt die Faustregel: 8 Gigabyte Grafikspeicher tragen den Einstieg, 16 die gehobene Klasse, 24 die Coder-Klasse.
Apple-Rechner teilen sich den Speicher zwischen System und Modell. Dort zählt der gemeinsame Speicher: 16 Gigabyte für den Einstieg, besser mehr.
Und noch nichts kaufen. Erst mit dem Modell testen, das auf den vorhandenen Rechner passt. Teil 3 zeigt die Installation.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.