Wissen · Lokale KI
Ollama Benchmark: lokale KI auf eigener Hardware sauber messen
Veröffentlicht und geprüft am 3. September 2026 Fachlich verantwortlich: Daniel Bidoli Ollama-Primärquellen unten
Nicht die schnellste Zahl gewinnt, sondern der reproduzierbare Test. Dieses Werkzeug berechnet aus einer Ollama-Antwort das echte Prompt- und Ausgabetempo.
Die Auswertung läuft vollständig in Ihrem Browser. Eingefügter JSON-Inhalt wird weder hochgeladen noch gespeichert. Darunter steht die Testmethode, mit der Ergebnisse zwischen PCs, Macs und 128-GB-Workstations tatsächlich vergleichbar werden.
Die kurze Antwort
Vier Werte statt einer Fantasiezahl
Ausgabetempo
eval_count ÷ eval_duration ergibt die generierten Tokens pro Sekunde. Das ist die Zahl, die beim Lesen der Antwort spürbar wird.
Prompt-Tempo
prompt_eval_count ÷ prompt_eval_duration zeigt, wie schnell das Modell den eingegebenen Text verarbeitet. Lange Dokumente machen diesen Wert wichtig.
Ladezeit
load_duration misst den Kaltstart. Ein aufgewärmtes Modell kann schnell sein und sich nach längerer Pause trotzdem träge anfühlen.
Gesamtdauer
total_duration enthält Laden, Prompt und Ausgabe. Sie ist für den Arbeitsalltag wichtig, aber allein kein fairer Hardwarevergleich.
Kostenloser Auswerter
Ollama-JSON einfügen, Messwerte erhalten
Verwenden Sie die letzte JSON-Antwort eines Aufrufs mit "stream": false. Antworttext darf vorher entfernt werden; für die Berechnung zählen nur die Laufzeitfelder.
Noch keine Daten ausgewertet.
Messung erzeugen
Ein API-Aufruf mit festen Bedingungen
Modell, Kontext, Temperatur und gewünschte Antwortlänge müssen feststehen. Sonst vergleicht man verschiedene Aufgaben statt verschiedene Hardware.
curl http://localhost:11434/api/generate -d '{
"model": "qwen3.8:27b",
"prompt": "Erkläre in 300 Wörtern, wie ein Schweizer KMU Rechnungen prüft.",
"stream": false,
"options": {
"temperature": 0,
"num_ctx": 8192,
"num_predict": 400
}
}'Die Antwort enthält am Ende unter anderem prompt_eval_count, prompt_eval_duration, eval_count, eval_duration, load_duration und total_duration. Ollama gibt Dauerwerte in Nanosekunden aus.
Tokens/s = Anzahl ÷ (Dauer in Nanosekunden ÷ 1'000'000'000)
Vor dem Vergleich: Mit ollama ps kontrollieren, ob das Modell vollständig auf GPU beziehungsweise gemeinsamem Speicher liegt. Schon kleiner CPU-Offload kann das Ergebnis stark verändern.
Reproduzierbare Methode
So wird aus einem Screenshot ein brauchbarer Benchmark
- 01
System notieren
CPU, GPU, RAM/VRAM, Betriebssystem, Treiber und Ollama-Version.
- 02
Modell festhalten
Exakter Tag, Quantisierung, Dateigrösse und Kontextfenster.
- 03
Aufwärmen
Ein Lauf lädt das Modell. Seine Ladezeit separat protokollieren.
- 04
Dreimal messen
Denselben Prompt dreimal mit identischen Optionen ausführen.
- 05
Median verwenden
Der mittlere Wert ist robuster als der beste Einzelwert.
- 06
Qualität prüfen
Tempo, Richtigkeit, Format und Speicher gemeinsam bewerten.
Vergleiche nur Messungen mit gleicher Modellversion, Quantisierung, Kontextlänge und ungefähr gleicher Ausgabelänge. Hintergrundprogramme, Temperatur und Energiemodus gehören ebenfalls dokumentiert.
Vergleichsvorlage
Diese Angaben gehören zu jedem Ergebnis
| Bereich | Pflichtangabe | Warum sie zählt |
|---|---|---|
| Hardware | CPU, GPU/APU, VRAM oder gemeinsamer Speicher, RAM | Nur so lässt sich das Resultat einordnen. |
| Software | OS, Treiber, Ollama-Version | Runtime- und Treiberupdates verändern Tempo und Kompatibilität. |
| Modell | Name, Tag, Quantisierung, Dateigrösse | Ein Q4- und ein Q8-Modell sind kein fairer Vergleich. |
| Kontext | num_ctx, Prompt-Tokens, Ausgabe-Tokens | Langer Kontext benötigt mehr Speicher und Zeit. |
| Tempo | Prompt tok/s, Ausgabe tok/s, Lade- und Gesamtdauer | Die Werte beschreiben unterschiedliche Wartezeiten. |
| Auslastung | Ausgabe von ollama ps, Energiemodus | CPU-Offload und Stromlimit können den Vergleich entwerten. |
| Qualität | Bestanden/nicht bestanden plus begründete Bewertung | Ein schnelles falsches Ergebnis ist kein Produktivitätsgewinn. |
Eigene Messung
So langsam ist lokale KI ohne und mit kleiner Grafikkarte: unsere Messungen vom 14. Oktober 2026
Nach der eigenen Vorlage gemessen, auf unserem Büroserver: 8 Prozessorkerne, 18 GB RAM, eine zehn Jahre alte GeForce GTX 750 Ti mit 2 GB, die Ollama nur zu 3 Prozent nutzt. Also praktisch der Fall «Rechner ohne Grafikkarte». Modell Qwen3.5 4B (Ollama-Tag qwen3.5:4b, 3,3 GB, Kontext 4096), Ollama 0.40.4 unter Linux, Denkmodus aus, je Aufgabe zwei Läufe, Werte aus Ollamas eigenen Zählern.
| Aufgabe | Ausgabe, warm | Ausgabe, kalt | Laden, kalt | Antwort |
|---|---|---|---|---|
| Sitzungsprotokoll zusammenfassen | 2,4 Tokens/s | 2,0 Tokens/s | 27,8 s | 176 Tokens |
| Notiz als Kundenmail umformulieren | 3,0 Tokens/s | 2,4 Tokens/s | 0 s (geladen) | 130 Tokens |
| Fachfrage in drei Sätzen | 2,2 Tokens/s | 3,4 Tokens/s | 0 s (geladen) | 110 Tokens |
Lesart: 2 bis 3,5 Tokens pro Sekunde heisst: Eine Antwort von 150 Tokens dauert rund eine Minute, der Kaltstart davor 28 Sekunden. Die aufgezeichnete Sitzung für Teil 3 der Anleitung lief mit 3,5 Tokens pro Sekunde und lieferte eine inhaltlich richtige Zusammenfassung. Brauchbar zum Ausprobieren, nicht für den Arbeitsalltag; dafür steht in der Matrix die Faustregel ab 8 GB Grafikspeicher. Die zweite Messung darunter zeigt, was eine kleine Grafikkarte mit 4 GB daraus macht. Messskript und Rohdaten: Anleitung, Teil 6; Protokoll messung-tower-cpu-20261014.json im Beleg der Website-Doku.
Zweite Messung: Laptop mit RTX 3050 Ti, 4 GB Grafikspeicher
Gleiche Vorlage, gleiche drei Aufgaben, am selben Abend: ein Laptop mit Core i7-11370H, 16 GB RAM und einer GeForce RTX 3050 Ti mit 4 GB. Qwen3.5 4B belegt mit 4096 Tokens Kontext 3,8 GB und läuft laut ollama ps zu 52 Prozent auf dem Prozessor und 48 Prozent auf der Grafikkarte; Qwen3.5 9B mit 6,6 GB passt nicht hinein und liegt grösstenteils im Arbeitsspeicher. Drei Läufe je Zelle, Denkmodus aus.
| Modell | Aufgabe | Ausgabe, warm | Ausgabe, kalt | Laden, kalt | Antwort |
|---|---|---|---|---|---|
| Qwen3.5 4B | Sitzungsprotokoll zusammenfassen | 7,5 Tokens/s | 8,1 Tokens/s | 0 s (geladen) | 140 Tokens |
| Qwen3.5 4B | Notiz als Kundenmail umformulieren | 7,7 Tokens/s | 8,5 Tokens/s | 0 s (geladen) | 122 Tokens |
| Qwen3.5 4B | Fachfrage in drei Sätzen | 7,5 Tokens/s | 8,2 Tokens/s | 0 s (geladen) | 123 Tokens |
| Qwen3.5 9B | Sitzungsprotokoll zusammenfassen | 2,9 Tokens/s | 3,0 Tokens/s | 25,2 s | 133 Tokens |
| Qwen3.5 9B | Notiz als Kundenmail umformulieren | 3,0 Tokens/s | 3,0 Tokens/s | 0 s (geladen) | 205 Tokens |
| Qwen3.5 9B | Fachfrage in drei Sätzen | 3,2 Tokens/s | 3,2 Tokens/s | 0 s (geladen) | 109 Tokens |
Lesart: Die 4-GB-Karte macht das 4B-Modell dreimal so schnell wie der Büroserver ohne Grafikkarte, 7,5 statt 2,4 Tokens pro Sekunde; eine Antwort von 150 Tokens kommt in 20 Sekunden. Das 9B-Modell gewinnt fast nichts, 3 Tokens pro Sekunde, weil 6,6 GB Modell nicht in 4 GB passen und der Prozessor den Rest trägt. Genau das meint die Faustregel in der Matrix: Das Modell muss ganz in den Grafikspeicher, sonst zählt die Karte kaum. Das 4B-Modell für Qwen3.5 war beim Start schon geladen (ein Funktionslauf davor), darum kein Kaltstartwert; beim 9B-Modell sind es 25 Sekunden. Rohdaten messung-laptop-20261014.json im selben Beleg.
Praxis statt Spielprompt
Fünf Tests für Schweizer KMU
Beleg zu JSON
Felder aus Rechnung oder Lieferschein vollständig und schemafest ausgeben.
Dokument mit Quellen
Eine Antwort formulieren und jede Aussage auf eine Fundstelle zurückführen.
Schweizer Schreibweise
Geschäftstext ohne ß, mit korrekten CHF-, Datums- und Adressformaten.
Langer Kontext
Widersprüche und Fristen in einem umfangreichen Reglement finden.
Werkzeugwahl
Aus einer Anfrage das richtige erlaubte Werkzeug und seine Parameter auswählen.
Fehlergrenze
Belegen, ob das Modell bei fehlenden Angaben sauber stoppt statt zu raten.
Stand dieser Seite: Zwei eigene Messungen vom 14. Oktober 2026 stehen oben, ein Büroserver ohne Grafikkarte und ein Laptop mit 4 GB. Das ist keine Rangliste, sondern zwei Punkte derselben Testreihe; eine Karte mit 8 oder 16 GB fehlt noch. Wer die Vorlage auf eigener Hardware laufen lässt, kann die Zahlen hier einreichen, Methode und Rohdaten sind offen.
Häufige Fragen
FAQ zum Ollama-Benchmark
Wie messe ich Tokens pro Sekunde in Ollama?
Eine nicht gestreamte API-Antwort enthält eval_count und eval_duration. Teilen Sie die Tokenzahl durch die Dauer in Sekunden. Der Auswerter oben übernimmt die Umrechnung aus Nanosekunden.
Warum ist der erste Lauf langsamer?
Beim ersten Lauf muss das Modell geladen werden. load_duration deshalb separat ausweisen. Für das reine Antworttempo vergleicht man aufgewärmte Läufe; im Alltag kann der Kaltstart trotzdem relevant sein.
Reichen Tokens pro Sekunde als Benchmark?
Nein. Tempo sagt nichts über Richtigkeit, Vollständigkeit oder brauchbare strukturierte Ausgaben. Ein sinnvoller Test bewertet Tempo und Qualität mit denselben echten Aufgaben.
Primärquellen
- Ollama API: Usage — Bedeutung der Messfelder und offizielle Formeln
- Ollama API: Generate — Anfrage- und Antwortformat
- Ollama CLI — Befehle einschliesslich
ollama ps
Erst messen, dann investieren
Wir testen Ihren echten Anwendungsfall, nicht einen Werbeprompt
Im Erstgespräch klären wir, welches Ergebnis bestanden sein muss. Erst danach folgen Modelltest, Hardwareklasse und die Entscheidung zwischen Kauf, Miete oder Cloud.
Mit uns umsetzen
Was wir für Sie übernehmen
Wenn Sie es nicht selbst einrichten wollen oder vor dem Kauf eine zweite Meinung möchten, übernehmen wir diese Schritte. Das Erstgespräch ist kostenlos, auf Deutsch oder Englisch.
Einrichtung auf Ihrer Hardware
Wir richten das passende Modell mit einer Chat-Oberfläche auf einem Rechner oder Server ein, den Sie schon haben: mit Anmeldung davor, Zugriff fürs Team und einer Sicherung. Ihre Daten bleiben im Haus.
Begleiteter Zweiwochentest
Drei echte Aufgaben aus Ihrem Alltag, zwei Wochen Protokoll, dann eine klare Auswertung: lokal reicht, lokal mit besserer Hardware oder Cloud bleibt besser. Alle drei sind gute Ergebnisse, weil sie einen Fehlkauf verhindern.
Beratung vor dem Kauf
Bevor Sie Hardware kaufen oder mieten, prüfen wir Ihre Aufgaben, Datenmengen und Datenschutzanforderungen und sagen Ihnen, welche Stufe reicht. Auch dann, wenn die ehrliche Antwort «keine eigene Hardware» heisst.
Ein Klick übernimmt Ihren Wunsch ins Anfrageformular unten. Sie können ihn dort ändern.
Lokale KI ist oft nur ein Baustein in einem grösseren Ablauf. Wie wir solche Abläufe mit Ihren bestehenden Systemen verbinden: Prozessautomatisierung für KMU in der Schweiz.
Beschreiben Sie kurz, wo es hakt. Den Rest klären wir im Gespräch.
Sie schreiben uns, was Sie beschäftigt. Ihre Nachricht landet nicht in einem Ticketsystem, sondern direkt bei Daniel Bidoli, dem Inhaber.
-
Nachricht senden
Zwei Sätze reichen, das Eingrenzen ist unsere Arbeit.
-
Persönliche Antwort
Erste Einschätzung innerhalb von 24 Stunden.
-
Kostenloses Erstgespräch
Rund 30 Minuten: online, vor Ort oder flexibel am Abend. Danach entscheiden Sie.
Sehen wir keinen Nutzen, sagen wir es Ihnen offen.
Lieber direkt sprechen?
Ihre Anfrage
Was beschäftigt Sie? Eine kurze Beschreibung reicht, wir melden uns innerhalb von 24 Stunden.