Wissen · Lokale KI · Teil 3 von 6
Lokale KI, Teil 3: Ollama installieren und das erste Modell starten
Drei Schritte vom leeren Rechner zum ersten Gespräch, als echte Terminalaufnahme. Einmal ohne Grafikkarte, einmal mit einer kleinen.
Das Wichtigste
Ollama installieren, erstes Modell starten
- Ollama ist quelloffen, braucht kein Konto und keine Kreditkarte.
- ollama pull holt das Modell (3,3 GB, auf unserem Büroserver elf Minuten), ollama run startet das Gespräch.
- Echte Antwort im Film: 3 Tokens pro Sekunde ohne Grafikkarte, 8 mit einer 4-GB-Karte.
- Für den Alltag: ollama list, ollama ps, ollama rm, beenden mit /bye.
Ausführlich mit allen Befehlen: Teil 3 der Anleitung als Text.
Auf YouTube: Langfassung, 3:32 Minuten, mit Kapiteln und dieser Kurzfilm als Short. Beide laufen bei YouTube, also mit dessen Cookies.
Sprechertext
Was im Video gesagt wird
Ollama ist das freie Werkzeug, das lokale Sprachmodelle lädt und startet. Quelloffen, kein Konto, keine Kreditkarte. Und jetzt zeigen wir es, echt, auf einem Rechner ohne Grafikkarte.
Schritt eins: Auf ollama.com den Installer für Windows oder Mac laden, unter Linux den einen Befehl ausführen. Danach läuft Ollama im Hintergrund.
Schritt zwei: Das Modell holen. ollama pull lädt die 3,3 Gigabyte; hier auf dem Tower dauerte das elf Minuten, im Film zwanzigfach gestaucht.
Schritt drei: ollama run startet das Gespräch. Ich gebe ein echtes Sitzungsprotokoll ein und bitte um Zusammenfassung und offene Punkte. Was Sie jetzt sehen, ist die echte Antwort in Echtzeit, auf dem Prozessor, ohne Grafikkarte.
Zum Vergleich dieselbe Aufgabe auf einem Laptop mit einer kleinen Grafikkarte, 4 Gigabyte: 8 Tokens pro Sekunde statt 3, die Antwort steht nach einer Viertelminute. Und das ist erst die kleinste Karte; ab 8 Gigabyte passt auch das 9B-Modell ganz hinein.
Und noch drei Befehle für den Alltag: ollama list zeigt, was auf der Platte liegt, ollama ps, was gerade läuft, und ollama rm räumt auf. Beenden mit /bye.
Das war die Installation, diesmal mit Beweis. In Teil 4 kommt eine Oberfläche im Browser dazu, und Sie arbeiten mit Ihren eigenen Dokumenten.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.