Lokale KI im KMU: was sie kann, was sie kostet, wann sie sich lohnt
Wann sich lokale KI im KMU lohnt: Datenweg, Ergebnisqualität, Hardware und Gesamtkosten prüfen. Mit konkreter Prüfliste und Rechnern für die erste Einordnung.
Lokale KI lohnt sich für ein KMU, wenn eine klar abgegrenzte Aufgabe auf eigener Hardware die nötige Qualität erreicht und der gesamte Betrieb wirtschaftlich bleibt. Eigene Hardware allein garantiert weder Datenverbleib noch sichere Ergebnisse: Cloud-Modelle, Websuche, Erweiterungen und angebundene Dienste können weiterhin Daten übertragen. Prüfen Sie deshalb den vollständigen Datenweg, bevor Sie vertrauliche Unterlagen verwenden.
Dieser Beitrag ordnet ein, was lokale KI heute realistisch kann, was sie kostet und wann sie sich lohnt. Und weil solche Fragen sich schlecht in Prosa beantworten lassen, haben wir dafür ein Werkzeug gebaut: unseren Rechner für lokale KI, der je Anwendungsfall zeigt, welche Hardware es braucht.
Was lokal heute realistisch läuft
Für Dokumentenauswertung, Transkription, interne Wissenssuche oder Textentwürfe kommen unterschiedliche lokale Modelle infrage. Die Grösse oder Modellfamilie allein sagt nicht, ob ein Modell Ihre Aufgabe ausreichend löst. Testen Sie dieselben repräsentativen Aufgaben mit einem lokalen und einem geeigneten Cloud-Modell; vergleichen Sie Fehler, Bearbeitungszeit und Nacharbeit.
Ein guter Vergleich beginnt mit der Aufgabe: Eine wiederkehrende Belegauswertung stellt andere Anforderungen als offene Recherche oder komplexe Entwurfsarbeit. Legen Sie zuerst fest, welche Ergebnisse akzeptabel sind und welche ein Mensch nachprüfen muss. Erst danach wählen Sie Modell und Betriebsform.
Auch ein lokal betriebenes Modell kann Inhalte erfinden, Zahlen verwechseln oder wichtige Informationen auslassen. Eine bestimmte Parameterzahl ist kein Zuverlässigkeitsnachweis. Bei einer Zusammenfassung müssen Aussagen gegen das Original prüfbar bleiben; Entscheidungen mit erheblichen Folgen benötigen eine fachliche Freigabe.
Was es kostet, in ehrlichen Grössenordnungen
Ein Versuch auf vorhandener Hardware kann einen zusätzlichen Gerätekauf vermeiden. Ob ein Modell darauf nutzbar läuft, hängt unter anderem von Modellgrösse, Quantisierung, Kontextlänge, verfügbarem Speicher und Laufzeitsoftware ab. Eine pauschale Speichergrenze oder ein Gerätepreis sagt deshalb wenig über Ihr tatsächliches Arbeitstempo aus.
Trennen Sie Anschaffung von laufendem Betrieb: Hardware oder Miete, Strom, Einrichtung, Aktualisierung, Sicherung und menschliche Nacharbeit gehören in den Vergleich. Der Hardware-Rechner hilft bei der ersten Einordnung; der Kosten-Rechner unterstützt den Vergleich Ihrer Annahmen. Quellenstand, Region, Konfiguration und als unbekannt markierte Werte sind dabei zu beachten. Rechnerwerte ersetzen kein Angebot und keinen Leistungstest mit Ihren Aufgaben.
Wann es sich lohnt, und wann nicht
Drei mögliche Gründe tragen ein Lokale-KI-Projekt: Kontrolle über den Datenweg, weniger Abhängigkeit von einem einzelnen Cloud-Dienst und ein wirtschaftlicher Vorteil bei ausreichend regelmässiger Nutzung. Keiner davon gilt automatisch. Auch lokal fallen laufende Kosten an, und auch lokale Software, Modelle und deren Lizenzen können sich ändern.
Bei seltener Nutzung, fehlender Betreuung oder unzureichender Modellqualität kann ein Cloud-Dienst die praktischere Lösung sein. Ein Hybridbetrieb ist ebenfalls möglich: freigegebene Aufgaben in der Cloud, andere Aufgaben auf eigener Infrastruktur. Entscheidend sind die konkrete Aufgabe, der geprüfte Datenweg und die Gesamtkosten.
Der entscheidende Vergleich lautet deshalb nicht «lokal oder Cloud zu jedem Preis», sondern: Welche Lösung liefert ein brauchbares Ergebnis mit vertretbarer Nacharbeit und einem passenden Betriebsaufwand? Rechnen Sie mit derselben Aufgabenmenge, demselben Betrachtungszeitraum und derselben Qualitätsanforderung.
Der sichere Weg: erst testen, dann investieren
Beginnen Sie mit anonymisierten oder künstlichen Beispieldaten, deren erwartete Ergebnisse Sie kennen. Prüfen Sie Qualität und Datenweg, bevor Sie echte Kunden- oder Personaldaten einsetzen. Bei Ollama lassen sich Cloud-Funktionen gemäss Herstelleranleitung abschalten. Das ersetzt keine Prüfung weiterer Anwendungen oder Integrationen.
Prüfliste vor einer Hardwareentscheidung
- Aufgabe: Welche Eingaben und Ergebnisse sind vorgesehen? Was muss ein Mensch freigeben?
- Qualität: Wie viele Fehler und wie viel Nacharbeit entstehen bei denselben Testfällen?
- Leistung: Wie lange dauern die Aufgaben bei der geplanten Kontextlänge und Zahl gleichzeitiger Nutzer?
- Datenweg: Wohin gehen Eingaben, Suchanfragen, Protokolle und Sicherungen?
- Betrieb: Wer betreut Updates, Zugriffe und Ausfälle? Welche laufenden Kosten entstehen?
Notieren Sie die Ergebnisse dieser Prüfung. Erst ein bestandener Versuch mit dokumentierten Grenzen rechtfertigt die nächste Investition.
Für den ersten Schritt braucht es uns nicht, der Rechner und die Anleitungen dort reichen. Für den letzten schon eher: Das kostenlose Erstgespräch klärt, ob sich bei Ihnen überhaupt etwas lohnt, und die Analyse zum Festpreis beantwortet danach, welches Modell, welche Hardware und welche Absicherung Ihr Fall wirklich braucht. Auch hier gilt: erst messen, dann investieren.
Quellen und Prüfstand
Die Ollama-FAQ beschreibt lokale und Cloud-Ausführung, Cloud-Abschaltung und Speicherbedarf bei paralleler Nutzung. Die Prüfliste ist unser Vorgehen zur Entscheidung, keine zugesicherte Leistung eines Modells.
Überarbeitung vom 10. Oktober 2026: Datenweg, Qualitätsprüfung und Gesamtkosten präzisiert; unbelegte pauschale Preis- und Leistungsaussagen entfernt. Das ursprüngliche Veröffentlichungsdatum bleibt erhalten.
Nachtrag vom 15. Oktober 2026: Wer es ausprobieren will, findet den Weg Schritt für Schritt in der Anleitung «Lokale KI im Betrieb», sechs Teile mit echten Aufnahmen, und die eigenen Messwerte ohne und mit kleiner Grafikkarte auf der Benchmark-Seite.
