Wissen · Lokale KI · Serie
Lokale KI im Betrieb: die Anleitung in sechs Teilen
Vom ersten Entscheid bis zum Rechner, den das ganze Team nutzt. Jeder Teil als Text und als Video, mit allen Befehlen zum Nachtippen.
Lokale KI heisst: Das Sprachmodell läuft auf Ihrem eigenen Rechner, Dokumente und Eingaben verlassen das Haus nicht. Diese Anleitung geht den ganzen Weg in sechs Teilen und sagt bei jedem Schritt, was gut geht und wo die Cloud stärker bleibt. Stand 13. Oktober 2026.
Der Weg
Sechs Teile, in dieser Reihenfolge
Die Reihenfolge ist Absicht: Erst entscheiden, dann prüfen, dann installieren. Wer mit dem Kauf einer Grafikkarte beginnt, hat die teuerste Frage zuerst beantwortet, ohne die billigste gestellt zu haben.
Lohnt sich lokale KI für uns?
Drei Fälle, in denen es passt, zwei, in denen die Cloud besser bleibt. 15 Minuten Lesen, keine Technik.
Reicht unsere Hardware?
Grafikspeicher und Arbeitsspeicher des vorhandenen Rechners feststellen, mit dem Rechner abgleichen. 15 Minuten.
Ollama installieren, erstes Modell starten
Installer, ein Befehl, eine echte Aufgabe. Eine Viertelstunde plus Download.
Mit eigenen Dokumenten arbeiten
Eine Oberfläche im Browser, eine Wissensbasis aus Ihren Unterlagen. Ein Nachmittag.
Ein Rechner fürs ganze Team
Vier Einstellungen, die aus dem Versuch ein Werkzeug machen. Ein Nachmittag mit IT-Kenntnissen.
Messen, ob es taugt
Zwei Wochen mit echten Aufgaben, ein Protokoll, ein Entscheid. Das Kapitel, das die meisten auslassen.
Teil 1 · 15 Minuten
Lohnt sich lokale KI für uns?
Lokale KI ist kein Ersatz für ChatGPT in allen Lagen. Sie ist die richtige Wahl, wenn die Daten der Grund sind, und die falsche, wenn Spitzenqualität bei schweren Aufgaben der Grund ist.
Passt, wenn Daten das Haus nicht verlassen dürfen
Kundenverträge, Personalunterlagen, Offerten, Quellcode unter Geheimhaltung, Patientendaten: Alles, was Sie keinem Anbieter schicken wollen oder dürfen. Das Modell rechnet auf Ihrem Rechner, und Ollama hört ab Werk nur auf dem eigenen Gerät (Adresse 127.0.0.1). Internet braucht es nur zum Herunterladen des Modells.
Passt, wenn die Aufgabe wiederkehrt
Posteingang sortieren, Protokolle zusammenfassen, Rapporte in Fliesstext bringen, Fragen an das eigene Handbuch: Aufgaben, die täglich in ähnlicher Form anfallen. Dort ist die Qualität der mittleren Modellklasse heute ausreichend, und die Kosten pro Anfrage sind null, sobald die Hardware steht.
Passt, wenn es ohne Konto laufen soll
Kein Anbieterkonto, keine Kreditkarte, keine Nutzungsbedingungen, die sich ändern, kein Abo pro Kopf. Für Betriebe, die Werkzeuge lieber besitzen als mieten, ist das ein Argument für sich.
Passt nicht, wenn das letzte Prozent zählt
Grosse Code-Umbauten, lange Recherchen über viele Quellen, anspruchsvolle juristische oder technische Texte: Dort bleiben die grossen Cloud-Modelle spürbar vorn. Wer das braucht und die Daten schicken darf, fährt mit der Cloud besser. Und wer eine Aufgabe nur zweimal im Jahr hat, braucht dafür keine eigene Grafikkarte.
Datenschutz bleibt Ihre Aufgabe, auch lokal: Wer welche Daten dem Modell zeigen darf, regelt der Betrieb, nicht das Werkzeug. Der Eidgenössische Datenschutzbeauftragte fasst die Pflichten auf seiner Seite zu KI und Datenschutz zusammen. Tiefer: Lokale ChatGPT-Alternative und Cloud oder lokal: der Kosten-Rechner.
Teil 2 · 15 Minuten
Reicht unsere Hardware?
Entscheidend ist der Grafikspeicher (VRAM), auf Apple-Rechnern der gemeinsame Speicher. Das Modell muss hineinpassen; passt es nicht, rechnet der Prozessor, und aus Lesetempo wird Warten.
Feststellen, was da ist
Windows: Task-Manager, Reiter Leistung, GPU, dort «Dedizierter GPU-Speicher». Mac: Apple-Menü, Über diesen Mac, Arbeitsspeicher. Linux:
nvidia-smiim Terminal. Notieren Sie Grafikspeicher und Arbeitsspeicher.Mit der Stufe abgleichen
8 GB Grafikspeicher oder 16 GB gemeinsamer Speicher tragen das Einstiegsmodell Qwen3.5 9B. 16 GB tragen die gehobene Klasse bis 20B, 24 GB die Coding- und Agentenklasse um 30B. Die vollständige Tabelle mit allen Modellen steht im Hardware-Rechner, dort auch der Umkehr-Modus «Was kann meine Hardware?».
Noch nichts kaufen
Reicht der vorhandene Rechner für das Einstiegsmodell, machen Sie mit Teil 3 weiter. Reicht er nicht, nehmen Sie ein kleineres Modell (
qwen3.5:4b, rund 3,3 GB) für den Test. Gekauft wird nach Teil 6, wenn klar ist, welche Modellklasse die eigene Aufgabe wirklich braucht.
Wenn es später doch neue Hardware sein soll: Welche Grafikkarte für lokale KI und Mac für lokale KI.
Teil 3 · eine Viertelstunde plus Download
Ollama installieren, erstes Modell starten
Ollama ist das freie, quelloffene Werkzeug (MIT-Lizenz), das Modelle lädt, verwaltet und startet. Kein Konto, keine Kreditkarte. Die ausführliche Fassung mit Befehlstabelle steht auf der Ollama-Einstiegsseite.
Installieren
Auf ollama.com den Installer für Windows oder macOS laden und ausführen; unter Linux den dort angegebenen Befehl. Danach läuft Ollama im Hintergrund. Prüfen im Terminal:
ollama --version.Modell laden und starten
ollama run qwen3.5:9berledigt beides: Beim ersten Mal lädt der Befehl das Modell (rund 6,6 GB), danach startet er das Gespräch. Tippen, Enter, Antwort./byebeendet.Eine echte Aufgabe stellen
Nicht mit Witzen testen. Ein echtes Protokoll, eine echte E-Mail, ein Auszug aus dem Handbuch: «Fasse zusammen und nenne die offenen Punkte.» Achten Sie auf zwei Dinge: das Tempo, und was fehlt oder falsch ist. Beides brauchen Sie in Teil 6.
| Befehl | Was er tut |
|---|---|
ollama --version | Zeigt, dass die Installation läuft. |
ollama run qwen3.5:9b | Lädt das Einstiegsmodell beim ersten Mal und startet das Gespräch. |
ollama list | Zeigt die Modelle auf der Platte samt Grösse. |
ollama ps | Zeigt, welches Modell gerade im Speicher läuft. |
ollama rm qwen3.5:4b | Löscht ein Modell wieder. Die Dateien sind gross. |
Läuft es zäh, ist das Modell fast immer zu gross für den Grafikspeicher. Dann ein kleineres nehmen oder zurück zu Teil 2. Welches Modell wofür: Qwen3.5 9B als Einstieg, Gemma 4 12B mit Bild und Ton, GPT-OSS 20B ab 16 GB.
Teil 4 · ein Nachmittag
Mit eigenen Dokumenten arbeiten
Das Terminal ist für den Test gut, für den Alltag nicht. Open WebUI ist eine quelloffene Oberfläche im Browser, die Ollama nutzt und Dokumente als Wissensbasis anbindet. Sie läuft als Docker-Container auf demselben Rechner.
Docker installieren
Docker Desktop für Windows oder Mac von docker.com, unter Linux das Paket der Distribution. Docker ist der Behälter, in dem Open WebUI läuft, ohne Ihr System zu verändern.
Open WebUI starten
Ein Befehl im Terminal, aus der offiziellen Kurzanleitung; den Schlüssel ersetzen Sie durch eine lange zufällige Zeichenfolge und lassen ihn danach unverändert, sonst meldet ein Neustart alle Nutzer ab:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=ihr-schluessel --name open-webui --restart always ghcr.io/open-webui/open-webui:mainDanach ist die Oberfläche unter
http://localhost:3000erreichbar. Das erste Konto, das Sie anlegen, ist der Administrator. Ollama auf demselben Rechner wird automatisch gefunden.Wissensbasis anlegen
Unter Arbeitsbereich, Wissen, «Erstellen» eine Wissensbasis anlegen und Dateien hochladen; zuerst eine kleine PDF mit Textebene, keine Scans. Im Chat tippen Sie
#und wählen die Wissensbasis; das Modell antwortet dann aus Ihren Unterlagen und nennt die Stellen.Grenzen kennen
Gescannte PDFs ohne Textebene brauchen vorher eine Texterkennung. Sehr lange Dokumente verdrängen bei kleinen Modellen den Gesprächsverlauf aus dem Kontext. Und was die Oberfläche zusätzlich anbietet (Websuche, externe Modelle), ist nicht mehr lokal; prüfen Sie, was eingeschaltet ist.
Was mit Dokumenten lokal gut geht und was nicht: Dokumente mit KI auswerten und Interne KI-Suche. Lizenz und Bedingungen von Open WebUI stehen im Projekt selbst; vor dem Einsatz im Betrieb lesen.
Teil 5 · ein Nachmittag, mit IT-Kenntnissen
Ein Rechner fürs ganze Team
Ein Rechner im Haus, alle nutzen ihn über den Browser: Das ist der Punkt, an dem aus dem Versuch ein Werkzeug wird. Vier Dinge gehören dazu, geprüft gegen die Ollama-Dokumentation.
1. Nur so weit öffnen wie nötig
Ab Werk hört Ollama auf 127.0.0.1:11434. Für das Firmennetz setzen Sie OLLAMA_HOST=0.0.0.0:11434 als Umgebungsvariable. Dann erreicht jeder Rechner im Netz das Modell, und genau deshalb kommt Punkt 2 sofort danach.
2. Anmeldung davor
Ollama selbst kennt keine Anmeldung: Wer den Port erreicht, darf alles. Darum gehört ein Reverse-Proxy davor (nginx oder Caddy) mit TLS und Anmeldung, oder Sie lassen nur Open WebUI auf den Port, das seine eigenen Benutzerkonten hat, und sperren den Port sonst in der Firewall.
3. Speicher und Geduld
OLLAMA_KEEP_ALIVE bestimmt, wie lange ein Modell nach der letzten Anfrage im Grafikspeicher bleibt (ab Werk fünf Minuten). Auf einem Team-Rechner lohnt eine längere Frist, sonst wartet jeder Erste nach einer Pause auf das Laden. Mehrere Nutzer gleichzeitig brauchen Speicher für mehrere Kontexte.
4. Updates im Kalender
Ollama und Open WebUI erscheinen mehrmals im Monat neu; neue Modelle setzen oft eine neue Version voraus, Sicherheitskorrekturen kommen auf demselben Weg. Ein fester Termin im Monat, und wer ihn verantwortet.
Einzelheiten und die Befehle je Betriebssystem: Ollama im KMU-Netz sicher betreiben. Ob sich ein eigener Rechner gegen die Cloud rechnet: Betriebsvergleich.
Teil 6 · zwei Wochen
Messen, ob es taugt
Der Teil, den die meisten auslassen, und der einzige, der vor einem Fehlkauf schützt. Benchmarks sagen nichts über Ihre Protokolle. Zwei Wochen mit echten Aufgaben sagen alles.
Drei Aufgaben festlegen
Die drei Dinge, die Sie wirklich abgeben wollen, mit je einem Beispiel aus der letzten Woche: das Protokoll vom Dienstag, die Offertenanfrage vom Donnerstag, die Frage ans Handbuch. Nicht mehr als drei.
Zwei Wochen protokollieren
Jede Aufgabe, die das Modell bekommt, eine Zeile: Datum, Aufgabe, brauchbar ja oder nein, was gefehlt hat, Minuten gespart oder verloren. Eine Tabelle, kein Werkzeug. Nach zwei Wochen haben Sie zwanzig bis vierzig Zeilen.
Vorlage als Tabelle herunterladen (CSV, öffnet in Excel und Numbers)
Entscheiden
Über 80 Prozent brauchbar und Zeit gespart: ausbauen, jetzt die passende Hardware wählen (zurück zu Teil 2 mit Zahlen). Brauchbar, aber zu langsam: eine Modellklasse kleiner oder mehr Speicher. Unter der Hälfte brauchbar: die Aufgabe ist für lokale Modelle heute zu schwer, dann Cloud mit Datenregel oder bleiben lassen. Alle drei Ergebnisse sind gute Ergebnisse, weil sie vor dem Kauf kommen.
Wenn Sie den Test nicht allein machen wollen: Genau das ist unsere Prozessanalyse. Wir legen die drei Aufgaben mit Ihnen fest, prüfen die Hardware und lesen das Protokoll mit Ihnen. Die Entscheidung bleibt Ihre.
Häufige Fragen
FAQ: lokale KI im Betrieb
Wie lange dauert der Einstieg in lokale KI?
Auf einem passenden Rechner läuft das erste Modell in einer Viertelstunde, den Download eingerechnet. Die Oberfläche mit eigenen Dokumenten braucht einen weiteren Nachmittag. Ob es für den Betrieb taugt, zeigt erst ein Test über zwei Wochen mit echten Aufgaben.
Brauche ich dafür neue Hardware?
Für den Einstieg meist nicht: Eine Grafikkarte mit 8 GB Speicher oder ein Apple-Rechner mit 16 GB gemeinsamem Speicher reichen für das Einstiegsmodell Qwen3.5 9B. Gekauft wird erst, wenn der Test zeigt, welche Modellklasse die eigene Aufgabe wirklich braucht.
Verlassen meine Daten bei lokaler KI wirklich nicht das Haus?
Das Modell rechnet auf Ihrem Rechner, und Ollama hört ab Werk nur auf dem eigenen Gerät. Internet braucht es nur zum Herunterladen des Modells. Prüfen müssen Sie zusätzlich die Oberfläche und Erweiterungen, die Sie dazu installieren: Manche bringen eigene Cloud-Funktionen mit.
Ist lokale KI so gut wie ChatGPT?
Bei Zusammenfassen, Umformulieren, Fragen an eigene Dokumente und Sortieren ist der Abstand klein. Bei schweren Aufgaben wie grossen Code-Umbauten oder langen Recherchen bleiben die grossen Cloud-Modelle vorn. Welche Seite für Ihre Aufgabe reicht, entscheidet der Test mit eigenen Unterlagen, nicht ein Benchmark.
Gibt es die Anleitung auch als Video?
Ja, Teil für Teil: Zu jedem Kapitel entsteht ein Video auf YouTube und eine Kurzfassung für Instagram, LinkedIn und YouTube Shorts. Solange ein Video fehlt, steht das im Kapitel.
Quellen zum Nachprüfen
- ollama.com und Ollama-FAQ: Download, Bind-Adresse, Keep-Alive, Speicherort
- Qwen3.5 in der Ollama-Bibliothek: Grössen der Einstiegsmodelle
- Open WebUI: Quick Start und Knowledge: Startbefehl, Port, Wissensbasis
- EDÖB: KI und Datenschutz: die Pflichten bleiben beim Betrieb
Alle Quellen gelesen am 13. Oktober 2026. Versionen und Modellnamen ändern sich schnell; die Seite wird mit dem Hardware-Rechner im Quartalsrhythmus nachgezogen.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.