Lokale KI im KMU: Welche Hardware braucht ein eigenes LLM?

In der Spitzenleistung: nein. Die grossen Cloud-Modelle bleiben bei anspruchsvollen Aufgaben voraus. Für abgegrenzte, wiederkehrende Aufgaben wie das Zusammenfassen von Dokumenten, das Auslesen von Belegen, interne Suche oder Textentwürfe reicht ein gut gewähltes lokales Modell aber oft aus, und die Daten verlassen dabei nie das Haus. Ob Ihre Aufgabe dazugehört, klärt ein Test mit Ihren echten Unterlagen, nicht ein Datenblatt.

Der häufigste Grund ist Datenschutz: Kundendaten, Personaldaten oder Unterlagen unter Berufsgeheimnis sollen keine Cloud eines Drittanbieters passieren. Dazu kommen Unabhängigkeit von Preis- und Produktänderungen der Anbieter und planbare Kosten, weil nach der Anschaffung keine Gebühren pro Anfrage anfallen. Wer keine dieser Anforderungen hat, fährt mit einem Cloud-Modell meist einfacher.

Nein. Kleinere Modelle laufen auch über den Hauptspeicher, auf gewöhnlichen Rechnern über die CPU und besonders gut auf Apple-Rechnern, deren Speicher von der Grafikeinheit mitbenutzt wird. Dann zählt RAM statt Grafikspeicher, die Antworten kommen aber deutlich langsamer. Für den produktiven Einsatz mit mehreren Nutzern führt an einer Grafikkarte mit genug Speicher selten ein Weg vorbei.

Viele ja, aber die Lizenz gehört geprüft. Modelle unter Apache-2.0- oder MIT-Lizenz (etwa die Qwen3-Familie oder GPT-OSS) sind auch kommerziell frei nutzbar. Andere, etwa die Llama-Familie, haben eigene Lizenzen mit Bedingungen. Die Prüfung der Lizenz für Ihren Einsatzfall gehört bei uns zur Analyse dazu.

Nein. ChatGPT, Claude und Gemini laufen ausschliesslich in der Cloud ihrer Anbieter. Lokal laufen offene Modelle wie Qwen3, Llama oder GPT-OSS, z. B. über das freie Werkzeug Ollama. Sie erreichen nicht die Spitzenleistung der grossen Cloud-Modelle, für abgegrenzte Aufgaben wie Dokumente auswerten oder interne Suche reichen sie aber oft aus, und die Daten bleiben im Haus. Mehr dazu auf der Seite zur lokalen ChatGPT-Alternative.

Für den Einstieg mit Modellen bis 8 Milliarden Parametern reicht eine Karte mit 8 GB Grafikspeicher (z. B. RTX-4060-Klasse). Komfortabel für die meisten KMU-Aufgaben sind 12 bis 16 GB, für grössere Modelle und Agenten 24 GB. Apple-Rechner nutzen ihren gemeinsamen Speicher, dort gilt: ab 16 GB Einstieg, ab 32 GB komfortabel. Die Übersichtstabelle oben ordnet alle Stufen ein, und die Kaufberatung nach VRAM-Klassen geht mit Beispielkarten und Preisen ins Detail.

Für kleine Modelle (bis 8 Milliarden Parameter) meist ja: Sie laufen über den Hauptspeicher auch ohne dedizierte Grafikkarte, spürbar langsamer. Apple-Laptops ab 16 GB Speicher sind dabei erstaunlich brauchbar, die Mac-Kaufberatung ordnet die Speicherklassen ein. Für den produktiven Dauereinsatz oder grössere Modelle führt an einem Rechner mit richtiger Grafikkarte oder einem gemieteten GPU-Server kaum ein Weg vorbei.

Mit passender Grafikkarte antworten Modelle bis 14 Milliarden Parameter in flüssigem Lesetempo. Auf Apple-Rechnern ist es brauchbar bis gut, rein über die CPU braucht es Geduld. Die Geschwindigkeit hängt vor allem an der Speicherbandbreite und der Modellgrösse; ein doppelt so grosses Modell ist grob halb so schnell.

Meistens ist das die falsche Frage: Was die meisten Betriebe wollen, ist keine Nachschulung des Modells (Feintuning), sondern interne Suche: Das Modell bekommt beim Antworten Zugriff auf Ihre Dokumente und zitiert daraus, ohne dass es verändert wird. Das ist günstiger, aktueller und jederzeit rückbaubar. Echtes Feintuning lohnt sich nur in Spezialfällen, etwa für einen festen Schreibstil oder Fachjargon in grossem Volumen.

Die aktuellen offenen Modelle (Qwen3, Llama, GPT-OSS) sind mehrsprachig trainiert und auf Deutsch gut brauchbar: Zusammenfassen, Auslesen und Entwürfe funktionieren zuverlässig. Bei feinen Nuancen und Schweizer Eigenheiten lohnt der Test mit Ihren echten Texten, genau dafür ist das kostenlose Ausprobieren mit Ollama da.

Nur einmal, zum Herunterladen der Modelle. Danach läuft alles vollständig ohne Internet, auf Wunsch auf einem Rechner ganz ohne Netzzugang. Für besonders schützenswerte Bereiche ist das ein Sicherheitsargument, das keine Cloud bieten kann.

Lokaler Betrieb löst die grösste Hürde: Es findet keine Übermittlung an einen Drittanbieter statt, Auftragsverarbeitung und Übermittlung ins Ausland entfallen. Die übrigen Pflichten bleiben wie bei jeder Datenverarbeitung bestehen, etwa Zweckbindung, Zugriffsschutz und Auskunftsrechte. Das ist eine Einordnung, keine Rechtsberatung; die Ausgestaltung für Ihren Fall gehört ins Projekt.