Wissen · Lokale KI
Interne KI-Suche: Ihr Firmenwissen beantwortet Fragen, mit Quellenangabe
Faktencheck: 3. September 2026 Fachlich verantwortlich: Daniel Bidoli Modell- und Hardwarequellen unten
«Wie war das beim Projekt Meier geregelt?» Die Antwort steht in Ihren Dokumenten. Die Suche findet sie, und zeigt, wo.
Interne Suche (Fachbegriff: RAG) macht den Dokumentenbestand eines Betriebs befragbar: Das Sprachmodell bekommt beim Antworten Zugriff auf Ihre Ablage und zitiert daraus, mit Quellenangabe zum Nachprüfen. Das Modell wird dafür nicht trainiert oder verändert, und der ganze Aufbau läuft auf einer Maschine im eigenen Haus.
Auf einen Blick
Was «Systeme anbinden & interne Suche» an Hardware braucht
Dieselben Einstufungen wie im Hardware-Rechner, hier zum Nachlesen: Speicher, Anschaffen gegen Mieten, die passenden Modelle und die Befehle zum Ausprobieren.
Q4-Planungswerte aus unserer internen Ollama-Hardware-Matrix, geprüft am 3. September 2026.
Anschaffen
CHF 1'500–2'500 einmalig, PC oder nachgerüsteter ServerMieten
CHF 100–200 pro Monat, GPU-ServerWomit Sie starten können
Eine Karte der 12-GB-Klasse oder ein Apple-Rechner ab 32 GB reichen, um Firmendokumente durchsuchbar zu machen und Antworten mit Quellenangabe zu bekommen. Läuft gut auf einem vorhandenen Server, wenn eine Karte nachgerüstet wird.
Tempo-Erwartung: Suchtreffer praktisch sofort, formulierte Antworten im Lesetempo.
So starten Sie: die Befehle zum Kopieren
Ollama installieren (kostenlos, ollama.com), dann im Terminal:
ollama pull qwen3:8b ollama pull nomic-embed-text # Das Suchmodell (Embeddings) macht die Ablage durchsuchbar, # das Sprachmodell formuliert die Antwort mit Quellenangabe.
Auf Apple-Rechnern teilen sich Modell und System den gemeinsamen Speicher, dort zählt die RAM-Angabe. Preise sind grobe Marktgrössenordnungen, keine Offerten.
Im Betrieb
Was damit möglich ist
Das Gedächtnis des Betriebs
Angebote, Projektordner, Sitzungsprotokolle, Handbücher: Was irgendwo abgelegt wurde, ist wieder auffindbar, als Antwort auf eine normale Frage statt als Treffer Nummer 217 der Dateisuche.
Einarbeitung neuer Mitarbeitender
«Wie erfassen wir Spesen?», «Wo steht die Vorlage für X?»: Die Suche beantwortet die hundert kleinen Fragen der ersten Monate aus den eigenen Unterlagen, und die erfahrenen Leute werden seltener unterbrochen.
Support und Service
Servicetechniker und Support fragen den Bestand aus Handbüchern, Fehlerprotokollen und alten Tickets ab, bevor sie beim Hersteller anrufen. Die Antwort kommt mit der Fundstelle, nicht als Behauptung.
Angebots- und Projektwissen
«Was haben wir bei vergleichbaren Projekten offeriert?» Die Suche zieht die Parallelen aus dem eigenen Archiv, inklusive der Dokumente, an die sich niemand mehr erinnert hat.
Ehrlich eingeordnet
Warum lokal, und wo die Grenzen liegen
Warum gerade hier lokal
Die interne Suche ist per Definition ein Zugriff auf alles: Verträge, Kalkulationen, Personaldokumente, Kundendaten. Genau deshalb gehört sie nicht in fremde Hände: Wer den gesamten Dokumentenbestand in einen Cloud-Dienst lädt, übergibt sein Betriebsgedächtnis einem Drittanbieter. Lokal betrieben bleiben Index und Antworten im Haus, und die Zugriffsrechte Ihrer Ablage lassen sich in die Suche hinein verlängern: Wer ein Dokument nicht öffnen darf, bekommt es auch nicht zitiert.
Die ehrlichen Grenzen
Die ehrliche Einordnung: Die Suche ist nur so gut wie die Ablage dahinter, aus einem chaotischen Bestand wird keine brillante Antwort. Der eigentliche Aufwand steckt darum selten in der KI, sondern in Anbindung und Aufbereitung der Quellen: Welche Ordner, welche Systeme, welche Rechte, was wird wie oft neu indexiert. Und Halluzinationen verschwinden nicht, sie werden kontrollierbar: Die Quellenangabe an jeder Antwort ist Pflicht, damit jeder Satz nachprüfbar bleibt.
Der Weg
So kommt das in Ihren Betrieb
Die ersten Schritte kosten nichts ausser etwas Zeit; investiert wird erst, wenn der eigene Test den Nutzen belegt hat.
-
Klein anfangen: ein Ordner, ein Thema
Nicht die ganze Ablage, sondern ein überschaubarer Bestand mit echtem Suchbedarf, etwa die Projektordner eines Jahres. Daran zeigt sich, ob Antwortqualität und Quellenangaben überzeugen.
-
Mit echten Fragen messen
Zehn Fragen sammeln, die im Alltag wirklich gestellt werden, und die Antworten gegen die Dokumente prüfen. Das ist die Messlatte, nicht die Demo mit vorbereiteten Beispielen.
-
Anbinden, absichern, ausrollen
Weitere Quellen anschliessen, Zugriffsrechte durchziehen, Index aktuell halten: Ab hier ist es Systemarbeit, und genau die ist unser Kerngeschäft, mit oder ohne KI.
Häufige Fragen
FAQ: Interne Suche mit lokaler KI
Was ist RAG, einfach erklärt?
RAG (Retrieval-Augmented Generation) heisst: Bevor das Sprachmodell antwortet, sucht ein Suchschritt die passenden Stellen aus Ihren Dokumenten heraus, und das Modell formuliert die Antwort aus genau diesen Stellen, mit Quellenangabe. Das Modell selbst bleibt unverändert; es bekommt Ihr Wissen zum Lesen, nicht zum Lernen.
Muss das Modell mit unseren Daten trainiert werden?
Nein, und das ist der Punkt: Die interne Suche gibt dem Modell beim Antworten Zugriff auf Ihre Dokumente, ohne es zu verändern. Das ist günstiger als Training, immer aktuell (neue Dokumente sind nach dem nächsten Indexlauf da) und jederzeit rückbaubar. Echtes Nachtrainieren lohnt sich nur in Spezialfällen.
Woher weiss ich, dass die Antwort stimmt?
An der Quellenangabe: Jede Antwort verweist auf die Dokumente und Stellen, aus denen sie stammt, und die sind einen Klick entfernt. Antworten ohne Fundstelle sind bei einem sauberen Aufbau nicht vorgesehen. Die Suche ersetzt nicht das Urteil, sie ersetzt das Suchen.
Welche Systeme lassen sich anbinden?
Der Anfang ist fast immer die Dateiablage (Ordner, PDF, Office). Danach kommen die Systeme dran, in denen Wissen steckt: E-Mail-Archive, CRM, ERP, Ticketsysteme, je nach Schnittstelle. Diese Anbindung ist der eigentliche Projektteil, und sie entscheidet mehr über den Nutzen als die Wahl des Modells.
Quellen und Vertiefung
- Qwen3 in der Ollama-Bibliothek — das Antwortmodell
- nomic-embed-text — das freie Suchmodell (Embeddings)
- r/LocalLLaMA — Erfahrungsberichte zu lokalen RAG-Aufbauten (englisch)
- Modellprofil: Qwen3 8B — alle Zahlen und Grenzen des empfohlenen Modells
- Modellprofil: Qwen3 14B — alle Zahlen und Grenzen des empfohlenen Modells
Weitere Anwendungsfälle
Was lokale KI sonst noch kann
Alle neun Fälle aus dem Rechner
Fälle mit Pfeil öffnen den Rechner an der richtigen Stelle; die übrigen haben eine eigene Seite wie diese.
Nächster Schritt
Passt das zu Ihrem Betrieb?
Im kostenlosen Erstgespräch klären wir, ob «Interne Suche» bei Ihnen den Aufwand lohnt, welche Hardware wirklich nötig ist, und ob die ehrliche Antwort vielleicht «Cloud» oder «noch nicht» lautet. Wenn ja, folgt die Analyse zum Festpreis: Aufgabe abgrenzen, Modell testen, Absicherung planen. Erst messen, dann investieren.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.