Lokale KI im KMU: was sie kann, was sie kostet, wann sie sich lohnt

In Gesprächen mit Betrieben taucht seit Monaten dieselbe Frage auf, meist im Nebensatz: «Dürfen wir eigentlich ChatGPT nutzen, mit unseren Kundendaten?» Die ehrliche Antwort ist unbequem: Für vieles ja, für das Heikelste besser nicht, denn was in die Cloud eines Drittanbieters geht, ist rechtlich eine Übermittlung und praktisch ein Kontrollverlust. Weniger bekannt ist, dass es dazu inzwischen eine ernstzunehmende Alternative gibt: Sprachmodelle, die auf eigener Hardware laufen, im eigenen Haus, ohne dass ein einziges Dokument den Betrieb verlässt.

Dieser Beitrag ordnet ein, was lokale KI heute realistisch kann, was sie kostet und wann sie sich lohnt. Und weil solche Fragen sich schlecht in Prosa beantworten lassen, haben wir dafür ein Werkzeug gebaut: unseren Rechner für lokale KI, der je Anwendungsfall zeigt, welche Hardware es braucht.

Was lokal heute realistisch läuft

Die offenen Modelle, allen voran die Qwen3-Familie, Metas Llama und OpenAIs GPT-OSS, erreichen nicht die Spitzenleistung der grossen Cloud-Dienste. Wer das Beste vom Besten für schwierige Aufgaben braucht, bleibt in der Cloud besser bedient, und das sagen wir auch so. Aber die Spitzenleistung ist für die meisten Betriebsaufgaben gar nicht der Massstab. Dokumente zusammenfassen, Belege auslesen, Sitzungen transkribieren, Firmenwissen durchsuchbar machen, Textentwürfe schreiben: Das sind abgegrenzte, wiederkehrende Aufgaben, und dafür reicht ein gut gewähltes lokales Modell erstaunlich oft.

Bei uns selbst läuft davon bewusst nichts lokal, und das ist eine gerechnete Entscheidung. Unsere Agenten arbeiten den ganzen Tag an Aufgaben, bei denen Qualität vor Menge geht: recherchieren, entwerfen, einander prüfen. Für dieses Profil ist ein Spitzenmodell die richtige Wahl, und eigene Hardware dafür wäre Geld an der falschen Stelle. Wir halten uns da an unseren eigenen Rat: erst rechnen, dann kaufen. Genau diese Rechnung war der Anlass für den Rechner.

Die Grenze verläuft dabei nicht zwischen «kann KI» und «kann KI nicht», sondern zwischen Aufgaben mit klarem Rahmen und Aufgaben, die Urteilsvermögen auf Spitzenniveau verlangen. Ein lokales 14-Milliarden-Parameter-Modell fasst ein Dossier zuverlässig zusammen. Einen kniffligen Vertragsentwurf verhandelt man besser nicht mit ihm.

Was es kostet, in ehrlichen Grössenordnungen

Die gute Nachricht zuerst: Der Einstieg kostet nichts. Ein kleines Modell läuft über das freie Werkzeug Ollama auf den meisten vorhandenen Rechnern, langsam, aber echt, und auf Apple-Geräten ab 16 GB Speicher sogar ordentlich. Wer ernsthaft arbeiten will, braucht eine Grafikkarte mit genug Speicher: Die Einstiegsklasse mit 8 GB gibt es in Rechnern ab rund 900 Franken, die für Dokumentenarbeit komfortable 16-GB-Klasse liegt bei 1'500 bis 2'500 Franken, und wer Agenten oder grosse Modelle dauerhaft betreiben will, mietet für 150 bis 300 Franken im Monat einen GPU-Server, statt eine Workstation nachts durchlaufen zu lassen.

Das sind bewusst Grössenordnungen, keine Offerten. Die genaue Antwort für einen konkreten Fall gibt der Rechner: Anwendungsfall wählen oder den vorhandenen Rechner angeben, und er zeigt Grafikspeicher, Arbeitsspeicher, Festplatte, Kauf- und Mietkosten samt konkreter Modelle zum Loslegen. Alle Werte dort sind mit Primärquellen verlinkt, damit sich niemand auf unser Wort verlassen muss.

Wann es sich lohnt, und wann nicht

Drei Gründe tragen ein Lokale-KI-Projekt. Der häufigste ist der Datenschutz: Personaldaten, Kundendossiers, Unterlagen unter Berufsgeheimnis gehören nicht ungeprüft in fremde Clouds, und lokal entfällt die Übermittlung schlicht. Der zweite ist Unabhängigkeit, denn Cloud-Anbieter ändern Preise, Limiten und Modelle nach ihrem Kalender, nicht nach Ihrem. Der dritte ist das Volumen: Wer täglich tausende Dokumente durch ein Modell schickt, zahlt in der Cloud pro Anfrage, lokal einmal für die Hardware.

Genauso klar sind die Fälle, in denen lokal die falsche Antwort ist. Wer selten anfragt, keine heiklen Daten verarbeitet und niemanden hat, der einen Server betreut, fährt mit einem Cloud-Modell einfacher und meist besser. Und Videogenerierung ist Stand heute lokal fast nie sinnvoll, da liefern die Cloud-Dienste für weniger Geld deutlich mehr.

Unser eigener Betrieb ist so ein Fall, und er ging gegen lokal. Wir haben dieselbe Rechnung aufgemacht, die der Rechner heute für jeden macht: erst der Anwendungsfall, dann die Hardware, dann die Kosten. Heraus kam, dass ein kleineres Modell unsere Arbeit nicht günstiger machen würde, sondern günstiger falsch. Bei einem Treuhandbüro, das täglich Dossiers unter Berufsgeheimnis durch ein Modell schickt, fällt dieselbe Rechnung anders aus, und genau darum steht sie dort zum Selberrechnen statt als Empfehlung von uns.

Der sichere Weg: erst testen, dann investieren

Der grösste Fehler in solchen Projekten ist die Reihenfolge: zuerst Hardware kaufen, dann herausfinden, ob die Qualität reicht. Es geht andersherum, und die ersten drei Schritte kosten nichts. Ollama installieren und ein kleines Modell auf dem vorhandenen Rechner ausprobieren. Dann mit echten Aufgaben testen, einem echten Dokument, einer echten E-Mail, denn auf dem eigenen Rechner bleiben die Daten dabei ohnehin im Haus. Dann ehrlich bewerten: Reicht die Qualität, reicht das Tempo? Erst wenn diese Fragen beantwortet sind, fällt die Hardware-Entscheidung, und erst für den produktiven Betrieb mit Absicherung, Zugriffen und Freigaben beginnt die eigentliche Projektarbeit.

Für den ersten Schritt braucht es uns nicht, der Rechner und die Anleitungen dort reichen. Für den letzten schon eher: Das kostenlose Erstgespräch klärt, ob sich bei Ihnen überhaupt etwas lohnt, und die Analyse zum Festpreis beantwortet danach, welches Modell, welche Hardware und welche Absicherung Ihr Fall wirklich braucht. Auch hier gilt: erst messen, dann investieren.