Wissen · Lokale KI
Welche Grafikkarte für lokale KI? Die ehrliche Kaufberatung
Nicht die Marke entscheidet und nicht die Teraflops. Es zählt eine einzige Zahl: der Grafikspeicher.
Ein Sprachmodell muss in den Speicher der Karte passen, sonst läuft es gar nicht oder quälend langsam. Darum sortiert diese Seite nicht nach Modelljahren, sondern nach VRAM-Klassen: was 8, 12, 16, 24 und 32 GB wirklich können, was die Karten in der Schweiz kosten, und wo die ehrliche Antwort «brauchen Sie nicht» lautet.
Das Prinzip
VRAM ist die Zahl, die zählt
Warum der Speicher entscheidet
Ein Sprachmodell wird beim Arbeiten komplett in den Grafikspeicher geladen: die Modelldatei, dazu der Kontext (was das Modell gerade «im Kopf behält») und etwas Reserve. Passt das nicht hinein, weicht der Rechner auf den langsamen Hauptspeicher aus, und aus flüssigem Lesetempo wird Warten. Rechenleistung und Modelljahr der Karte verschieben das Tempo um Prozente; zu wenig Speicher entscheidet über Läuft oder Läuft nicht.
Was das fürs Kaufen heisst
Kaufen Sie Speicher, nicht Prestige. Eine günstige Karte mit 16 GB schlägt für lokale KI eine teurere mit 12 GB, auch wenn die in Spielen schneller wäre. Und kaufen Sie erst, wenn die Aufgabe den Bedarf belegt hat: Der Hardware-Rechner zeigt je Anwendungsfall, welche Klasse es braucht, und der kostenlose Test mit einem kleinen Modell geht auf dem Rechner, der schon dasteht.
Zum Nachschlagen
Die VRAM-Klassen im Überblick
Einstufungen aus unserer internen Ollama-Hardware-Matrix, Stand September 2026 · Pflege im Quartalsrhythmus. Historische Preisorientierung vom 5. September 2026: Die damaligen gerundeten Werte aus Toppreise.ch betreffen die Karte allein, neu inklusive Mehrwertsteuer; Gebrauchtpreise sind Grössenordnungen. Sie wurden am 22. September nicht als aktuelle Mindestpreise bestätigt. Für einen Kauf die konkreten Angebote unten und den aktuellen Markt vergleichen; diese Tabelle ist keine Offerte.
| Klasse | Beispielkarten | Historischer Kartenpreis 05.09.2026 | Läuft gut | Wo die Grenze liegt |
|---|---|---|---|---|
| 8 GB der Einstieg |
RTX 4060, RTX 3060 Ti | ab ~CHF 300 | Texte & Chat flüssig (bis 8B), Transkription schneller als Echtzeit, Bilder der SD-XL-Klasse | Dokumente mit langem Kontext; für Auswerte-Aufgaben lohnt gleich der Schritt auf 12 GB. |
| 12 GB der Preis-Nutzen-Tipp |
RTX 4070, RTX 3060 12 GB | ~CHF 400–600 | Die 14B-Klasse mit mittlerem Kontext: Dokumente auswerten, interne Suche, dazu alles aus der 8-GB-Klasse | 14B mit sehr langem Kontext und die 20B-Klasse wollen 16 GB; Excel-Auswertungen mit 32B bleiben aussen vor. |
| 16 GB die komfortable Mitte |
RTX 5060 Ti 16 GB, RTX 5070 Ti, RX 7800 XT (AMD) | ~CHF 370–950 neu | 14B mit grossem Kontext, GPT-OSS 20B, Bilder auch in der FLUX-Klasse, Excel & Auswertungen | Die 32B-Klasse und speicherhungrige Agenten brauchen 24 GB; Coding bleibt beim 14B-Einstieg. |
| 24 GB die Workstation |
RTX 3090 (gebraucht), RTX 4090 (Restbestände) | ~CHF 1'000 (gebraucht) bis 2'000 | Praktisch alles: die 27B- bis 32B-Klasse (Qwen3.8 27B, Gemma 4 31B, Qwen3 32B), die 30B-Coder-Klasse, Agenten mit grossem Kontext | 70B-Modelle und Videogenerierung in guter Qualität; das ist dann Profi- bzw. Server-Territorium. |
| 32 GB die neue Spitze |
RTX 5090 | ~CHF 2'900–4'300 neu | Alles aus der 24-GB-Klasse mit mehr Kontext und Luft für zwei Modelle nebeneinander; Qwen3.5 35B-A3B (24 GB) passt komplett hinein | 70B bleibt draussen (43 GB Q4); der Preis kauft vor allem Tempo (1'792 GB/s) und 575 Watt Leistungsaufnahme, nicht eine neue Modellklasse. |
Vier konkrete Händlerbeispiele
Vier Digitec-Angebote, recherchiert am 22. September 2026. Die zugänglichen Preisstände waren teilweise mehrere Tage alt. Preise gelten für die einzelne Grafikkarte, nicht für einen vollständigen PC. Diese Stichprobe ist keine Marktuntergrenze. Aktuellen Preis, Verfügbarkeit und Bedingungen direkt im Angebot prüfen.
- MSI RTX 5060 Ti VENTUS 2X OC PLUS, 16 GB · 57817315: CHF 659. Lagerbestand angezeigt.
- Gigabyte RTX 5060 Ti Gaming OC, 16 GB · 57559992: CHF 784. Nicht lieferbar; keine verfügbare Kaufoption.
- Gigabyte RTX 5070 Ti GAMING OC, 16 GB · 54667247: CHF 1'284. Lagerbestand angezeigt.
- Gigabyte RTX 5090 WINDFORCE OC, 32 GB · 53984950: CHF 5'199. Ein Lagerstück angezeigt.
Die zweite Zahl: Bandbreite, Strom, Netzteil
Wenn zwei Karten gleich viel Speicher haben, entscheidet die Speicherbandbreite über das Lesetempo: RTX 5060 Ti 16 GB rund 448 GB/s, RTX 5070 Ti 896 GB/s, RTX 3090 936 GB/s, RTX 4090 1'008 GB/s, RTX 5090 1'792 GB/s (Herstellerangaben). Für Dokumentenarbeit im Einzelbetrieb reicht die 5060 Ti, für mehrere gleichzeitige Nutzer oder Agenten lohnt die doppelte Bandbreite der 5070 Ti. Die RTX 5080 (16 GB; historische Preisorientierung vom 5. September: ab ~CHF 920) bringt für lokale KI keinen Speicher dazu und ist darum selten die richtige Wahl.
Dazu die Nebenkosten, die im Datenblatt klein stehen: Die 5060 Ti nimmt bis 180 Watt und läuft an einem 600-Watt-Netzteil, die 5070 Ti bis 300 Watt (750 Watt empfohlen), die 5090 bis 575 Watt (1'000 Watt empfohlen, eigener 12V-2x6-Stecker). Grosse Karten sind über 30 cm lang und brauchen drei Slots; vor dem Kauf Gehäuse und Netzteil messen. Garantie- und Rückgabebedingungen bei neuen wie gebrauchten Karten je Angebot prüfen; gebraucht bedeutet nicht automatisch ohne Garantie.
Sie haben schon eine Karte? Direkt im Rechner nachschauen
Der Umkehr-Modus des Rechners zeigt je Hardware, welche der neun Anwendungsfälle gut laufen, welche eingeschränkt, und wo der nächste sinnvolle Schritt liegt.
Die Abkürzungen
Drei Wege, den Kartenkauf zu umgehen
Eine neue Grafikkarte ist nicht immer die richtige Antwort. Diese drei Wege sparen Geld oder Risiko, und manchmal beides.
Der Apple-Weg
Apple-Rechner teilen ihren Speicher zwischen System und Grafikeinheit: Ein MacBook mit 16 GB macht Texte gut, eines mit 32 GB trägt Dokumentenarbeit, ein Mac Studio mit 64 GB auch die 32B-Klasse. Wer ohnehin in der Apple-Welt arbeitet, braucht oft gar keine Grafikkarte, nur genug gemeinsamen Speicher beim nächsten Gerätekauf; die Details stehen in der Mac-Kaufberatung. Schwäche bleibt die Bildgenerierung, dort ist eine echte GPU deutlich schneller.
Der Gebraucht-Weg
Eine gebrauchte RTX 3090 bietet 24 GB Grafikspeicher. Einzelne Schweizer Gebrauchtangebote lagen am 17. Oktober 2026 bei rund CHF 1'000 bis 1'200 (Inserate, keine abgeschlossenen Verkäufe). Vor dem Kauf Zustand, Belastungstest, Strombedarf sowie Garantie- und Rückgabebedingungen des Angebots prüfen. Für einen Betrieb gehören ein möglicher Ausfall und Ersatz in den Kostenvergleich.
Der Miet-Weg
GPU-Server gibt es stundenweise und monatlich. Am 17. Oktober 2026 kostete ein Dauer-GPU-Server mit 20 GB bei einem EU-Anbieter rund CHF 260 im Monat, für gelegentliche Nutzung ist Stundenmiete deutlich günstiger; Anbieter, GPU, Nutzungsdauer und Zusatzkosten bestimmen den Tarif. Das ist der richtige Weg zum Testen grösserer Modelle, bevor Geld gebunden wird, und oft auch dauerhaft der bessere, wenn das Volumen schwankt. Ab wann Kaufen günstiger ist, rechnet unser Kosten-Rechner Cloud oder lokal.
Und die AMD-Frage
AMD bietet viel Speicher fürs Geld (16-GB-Karten deutlich unter NVIDIA-Preis), und Ollama unterstützt aktuelle Radeon-Karten. Trotzdem bleibt NVIDIA der Weg des geringsten Widerstands: Neue Modelle und Werkzeuge erscheinen zuerst für CUDA, die Bildgenerierung ist dort am reifsten. Wer gern bastelt, spart mit AMD; wer einfach arbeiten will, zahlt den NVIDIA-Aufpreis als Ruhe-Prämie.
Häufige Fragen
FAQ: Grafikkarten für lokale KI
Reicht eine Grafikkarte mit 8 GB für lokale KI?
Für den Einstieg ja: Sprachmodelle bis 8 Milliarden Parameter laufen flüssig, Transkription läuft schneller als Echtzeit, Bilder gelingen in der SD-XL-Klasse. Eng wird es beim Auswerten längerer Dokumente, weil der Kontext zusätzlichen Speicher braucht. Wer neu kauft und rund 200 Franken Spielraum hat, nimmt gleich die 12-GB-Klasse, sie öffnet die meisten KMU-Anwendungen.
Welche Grafikkarte brauche ich für Ollama?
Der Grafikspeicher entscheidet, nicht das Modelljahr der Karte: 8 GB für den Einstieg (Modelle bis 8B), 12 bis 16 GB für die komfortable Mitte (14B- und 20B-Klasse, Dokumentenauswertung), 24 GB für die Workstation-Klasse (27B bis 32B, Coding-Modelle, Agenten), 32 GB (RTX 5090) für dieselbe Klasse mit mehr Kontext und Tempo. Die früher genannten Einstiegspreise vom 5. September 2026 sind historische Vergleichswerte, keine aktuell bestätigten Mindestpreise. Die verlinkten Händlerbeispiele vom 22. September zeigen einzelne Kartenangebote; Verfügbarkeit und Gesamtpreis müssen vor dem Kauf geprüft werden. NVIDIA-Karten laufen am reibungslosesten; aktuelle AMD-Karten werden von Ollama unterstützt, brauchen aber öfter Handarbeit.
Welche Grafikkarte für Stable Diffusion und FLUX?
Die SD-XL-Klasse läuft ab 8 GB Grafikspeicher, flüssiges Arbeiten und die hochwertigere FLUX-Klasse brauchen 16 bis 24 GB. Bei der Bildgenerierung führt kein Weg an einer echten Grafikkarte vorbei, und praktisch heisst das NVIDIA: Die Bild-Werkzeugkette ist dort am reifsten. Apple-Rechner können es, sind aber deutlich langsamer.
Ist eine gebrauchte RTX 3090 für lokale KI sinnvoll?
Eine gebrauchte RTX 3090 kann ein Weg zu 24 GB Grafikspeicher sein. Ob sie sich lohnt, hängt von Preis, Zustand, Strombedarf und dem konkreten Modell ab. Garantie- und Rückgabebedingungen je Angebot prüfen; gebraucht bedeutet nicht automatisch ohne Garantie. Die RTX 5070 Ti bietet 16 GB, die RTX 5090 32 GB. Einen aktuellen günstigsten Kaufweg haben wir nicht marktweit ermittelt. Für einen Betrieb mit Verfügbarkeitsanspruch sollten auch Ausfallrisiko und Ersatz berücksichtigt werden; eine neue Karte oder ein gemieteter GPU-Server können Alternativen sein.
Funktioniert lokale KI mit AMD-Grafikkarten?
Ja, Ollama unterstützt aktuelle Radeon-Karten, und AMD bietet viel Grafikspeicher fürs Geld. Trotzdem bleibt NVIDIA der Weg des geringsten Widerstands: Neue Modelle und Werkzeuge erscheinen zuerst für CUDA, und die Bildgenerierung ist auf NVIDIA am reifsten. Wer gern bastelt, spart mit AMD; wer einfach arbeiten will, nimmt NVIDIA.
Wie viel VRAM brauche ich für welche Modellgrösse?
Faustregel für die übliche Q4-Quantisierung: Die Modelldatei belegt grob 0,6 GB je Milliarde Parameter, dazu kommen Kontextspeicher und Reserve. Praktisch heisst das: 8B-Modelle ab 8 GB, 14B ab 12 GB (komfortabel 16), 32B ab 24 GB, 70B jenseits von 48 GB. Die Übersichtstabelle oben und unsere Modell-Matrix im Rechner ordnen alle Stufen ein.
Geht lokale KI auch ganz ohne Grafikkarte?
Zum Ausprobieren ja: Kleine Modelle laufen über den Hauptspeicher eines gewöhnlichen Rechners, zäh, aber echt. Apple-Rechner sind dank gemeinsamem Speicher erstaunlich brauchbar, ab 16 GB für Texte, ab 32 GB für Dokumentenarbeit. Und wer gar nicht kaufen will, mietet einen GPU-Server stundenweise. Kaufen sollte ohnehin erst, wer den kostenlosen Test mit echten Aufgaben bestanden hat.
Quellen zum Nachprüfen
- Ollama: unterstützte GPUs — die offizielle Liste, NVIDIA wie AMD
- Ollama-Modellbibliothek — die offiziellen Dateigrössen hinter unserer Faustregel
- r/LocalLLaMA — Erfahrungsberichte anderer mit derselben Hardware (englisch)
- Unser Hardware-Rechner — je Anwendungsfall die passende Klasse, samt Matrix und Primärquellen
Ihre Kaufentscheidung
Erst die Aufgabe, dann die Karte
Die beste Grafikkarte ist die, deren Klasse Ihre Aufgabe wirklich braucht, und das lässt sich vor dem Kauf kostenlos herausfinden: kleines Modell auf vorhandener Hardware testen, Bedarf messen, dann entscheiden. Im kostenlosen Erstgespräch sagen wir ehrlich, ob sich lokale KI für Ihren Fall lohnt, oder ob die Cloud der einfachere Weg bleibt.
Mit uns umsetzen
Was wir für Sie übernehmen
Wenn Sie es nicht selbst einrichten wollen oder vor dem Kauf eine zweite Meinung möchten, übernehmen wir diese Schritte. Das Erstgespräch ist kostenlos, auf Deutsch oder Englisch.
Einrichtung auf Ihrer Hardware
Wir richten das passende Modell mit einer Chat-Oberfläche auf einem Rechner oder Server ein, den Sie schon haben: mit Anmeldung davor, Zugriff fürs Team und einer Sicherung. Ihre Daten bleiben im Haus.
Begleiteter Zweiwochentest
Drei echte Aufgaben aus Ihrem Alltag, zwei Wochen Protokoll, dann eine klare Auswertung: lokal reicht, lokal mit besserer Hardware oder Cloud bleibt besser. Alle drei sind gute Ergebnisse, weil sie einen Fehlkauf verhindern.
Beratung vor dem Kauf
Bevor Sie Hardware kaufen oder mieten, prüfen wir Ihre Aufgaben, Datenmengen und Datenschutzanforderungen und sagen Ihnen, welche Stufe reicht. Auch dann, wenn die ehrliche Antwort «keine eigene Hardware» heisst.
Ein Klick übernimmt Ihren Wunsch ins Anfrageformular unten. Sie können ihn dort ändern.
Lokale KI ist oft nur ein Baustein in einem grösseren Ablauf. Wie wir solche Abläufe mit Ihren bestehenden Systemen verbinden: Prozessautomatisierung für KMU in der Schweiz.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.