Lokale KI-Modelle im Test: 62 Modelle, 139.000 Antworten – und was Quantisierung wirklich kostet

Testrunde 2 ist durch. Aus 25 Modellen und 30 Aufgaben (Testrunde 1) sind 62 Modelle, 78 zusätzliche Quantisierungs- und Engine-Varianten und 100 Aufgaben geworden — über 139.000 einzelne Antworten, jede doppelt bewertet von zwei unabhängigen KI-Judges, und das Bewertungssystem diesmal gegen 100 von Hand geprüfte Antworten validiert. Was dabei herausgekommen ist, beantwortet ein paar Fragen, die mir in Kundengesprächen ständig begegnen: Reicht die Q4-Version wirklich? Lohnt sich der Thinking-Modus? Und bringt ein 120-Milliarden-Modell automatisch mehr als ein gutes 27B?

Kurzfassung: Q4 reicht. Thinking lohnt sich, meistens. Und nein — Größe ist nicht alles. (Stand 7. Oktober 2026, mit Nachtrag zu Qwen 3.8-Flash-Next und Ornith 1.5 weiter unten.)

In aller Kürze

• 62 Modelle von 0.8B bis 128B Parametern, dazu 78 Quantisierungs- und Engine-Varianten (Q2 bis BF16) — alle auf denselben 100 deutschen Business-Aufgaben, jede Aufgabe zehnfach wiederholt
• Q4_K_M kostet gegenüber BF16 im Mittel 0,1 Punkte von 100. Die komplette Quant-Leiter eines 27B-Modells (Q2 bis BF16) liegt in einem 2,5-Punkte-Band
• Aber: Bei kleinen Modellen bricht Q2 ein — ein 3B-Modell verliert dort 10 Punkte. Faustregel: je größer das Modell, desto härter darf die Quantisierung sein
• Thinking-Modelle belegen Platz 1 und 2 — Platz 1 geht erneut an qwen3.5-27b-thinking (93,3/100)
• Bestes Non-Thinking-Modell ist seit dem Nachtrag Qwen 3.8-Flash-Next (92,3, Rang 3) — 125 Milliarden Parameter, läuft aber mit 64 GB RAM und einer 12-GB-Karte. Unter den Modellen, die komplett auf eine Grafikkarte passen, bleibt qwen3.8-27b (90,5) vorn
• gpt-oss-120b (85,5) landet hinter gemma-4-31b (86,8) — ein viermal größeres Modell, geschlagen von einem 31B auf deutschen Alltagsaufgaben
• Abliteration (entzensierte Modelle) kostet messbar Qualität: −5,8 Punkte beim selben Modell in derselben Quantisierung
• Die Bewertung selbst wurde diesmal auditiert, überarbeitet und gegen 100 menschliche Urteile validiert — die Judges treffen mein Urteil so oft, wie es ein zweiter Mensch täte (die ganze Geschichte hier)

Alle Ergebnisse, jede einzelne Antwort und jedes Judge-Urteil sind im interaktiven LLM-Benchmark einsehbar — inklusive neuem Quantisierungs-Vergleich und dem Gold-Set-Bericht.

Was sich seit Testrunde 1 geändert hat

Drei Dinge. Erstens der Umfang: 100 statt 30 Aufgaben, 62 statt 25 Modelle, dazu die Quant-Reihen. Zweitens die Hardware: Neben der RTX 5090 arbeitet jetzt eine RTX PRO 6000 mit 96 GB VRAM mit — damit sind auch BF16-Referenzen und 120B-Modelle lokal testbar.

Drittens — und das ist mir der wichtigste Punkt: die Bewertung. In Testrunde 1 haben vier KI-Judges bewertet, und sie waren sich meistens einig. Ein blindes Audit hat dann gezeigt: Einigkeit ist kein Beweis für Richtigkeit. Ich habe echte Fehler gefunden — von einem Software-Bug, der über 800 „nicht erfüllt"-Urteile als „erfüllt" verbuchte, bis zu Server-Abstürzen, die als Nullpunkte in der Wertung landeten. Das komplette Bewertungssystem wurde daraufhin neu gebaut: Jedes Kriterium wird einzeln geprüft, mit Zitat-Pflicht; Formales prüft deterministischer Python-Code; zwei unabhängige Judge-Familien (Qwen 3.8 und Gemma 4 — verschiedene Hersteller, verschiedene Engines) bewerten alles doppelt und kommen auf eine Rangkorrelation von 0,996. Und zum Schluss habe ich 100 Antworten selbst blind bewertet, um die Judges gegen menschliches Urteil zu messen: 81–82 % Übereinstimmung, bei binären Kriterien 100 %. Das ist das Niveau, auf dem sich auch zwei menschliche Prüfer einigen. Die ganze Geschichte — inklusive der Fehler, die ich dabei bei mir selbst gefunden habe — steht im separaten Beitrag zur Judge-Validierung.

Die alten Stände bleiben übrigens unverändert online. Ergebnisse nachträglich still umzuschreiben wäre Gift für die Glaubwürdigkeit — wer die Historie sehen will, findet jeden Stand archiviert.

Q4 vs. BF16: Was LLM-Quantisierung wirklich kostet

Das ist der Teil mit dem größten Praxiswert. Wer ein lokales Modell betreibt, muss sich für eine Quantisierung entscheiden: BF16 (volle Präzision, riesig), Q8, Q6, Q5, Q4, Q3, Q2 (immer kleiner, theoretisch immer schlechter). Die Bandbreite an Meinungen dazu reicht von „unter Q8 ist alles Schrott" bis „Q2 merkt man kaum". Jetzt gibt es Zahlen.

Beispiel qwen3.8-27b, komplette Leiter, jeweils 1000 Testläufe:

Die gesamte Leiter liegt in einem Band von 2,5 Punkten — und dass Q6 hier nominell „besser" ist als BF16, zeigt vor allem eines: Innerhalb von ±1 Punkt ist das Messrauschen. Über 14 Modellpaare hinweg kostet Q4 gegenüber BF16 im Mittel 0,13 Punkte. Praktisch: nichts.

Aber — und dieses Aber ist wichtig: Dieselbe Rechnung beim kleinen ministral-3-3b sieht anders aus. BF16: 66,6. Q4: 66,1. Q2: 56,0. Zehn Punkte Absturz. Das 14B-Q2-Modell im Test halluzinierte in einer Kategorie so konsequent, dass der Lauf abgebrochen wurde. Kleine Modelle haben weniger Redundanz in den Gewichten — da tut aggressive Quantisierung richtig weh.

Die Faustregel für die Praxis: Ab ~27B ist Q4_K_M der Sweet Spot und selbst Q2 noch brauchbar, wenn der VRAM knapp ist. Unter 10B: bei Q4 bleiben, Finger weg von Q2/Q3.

Die besten lokalen KI-Modelle 2026: das Leaderboard

Die Thinking-Varianten dominieren — wer die längere Antwortzeit verkraftet, bekommt messbar mehr Qualität. Bemerkenswert ist Platz 4: ein 9B-Modell mit Thinking schlägt fast alle Non-Thinking-27B. Für Setups mit wenig VRAM ist qwen3.5-9b-thinking damit die vielleicht interessanteste Empfehlung im ganzen Test.

qwen3.8-27b ist das beste Non-Thinking-Modell, das komplett auf eine Grafikkarte passt, und löst qwen3.5-27b als Standard-Empfehlung für den Allround-Einsatz ab. Was darüber liegt, braucht einen anderen Rechner — dazu der Nachtrag.

gpt-oss-120b vs. Gemma-31B: Größe schlägt nicht Qualität

gpt-oss-120b — OpenAIs offenes 120-Milliarden-Modell — erreicht 85,5 Punkte. Das ist solide. Es ist aber weniger als gemma-4-31b mit 86,8 — ein Modell mit einem Viertel der Parameter, das auf einer einzelnen Consumer-GPU läuft. Auch mistral-medium-3.5-128b (das größte Modell im Test, allerdings nur als Q2 lauffähig) kommt nicht über 79,2 hinaus.

Für deutsche Business-Aufgaben — Dokumente auswerten, E-Mails schreiben, JSON liefern, Kontext halten — ist die Trainingsqualität wichtiger als die Parameterzahl. Das bestätigt den Befund aus Testrunde 1 (damals: das spezialisierte steuerllm-28b abgeschlagen; auch diesmal: 57,0, Platz 55) von der anderen Seite.

Abliterated, Distills, Temperatur: drei Befunde am Rande

Abliteration kostet. „Abliterated"-Modelle — Community-Versionen, bei denen die Sicherheitsausrichtung herausoperiert wurde — sind beliebt, weil sie nie ablehnen. Der direkte Vergleich beim selben Modell, derselben Quantisierung: qwen3.8-27b 90,5 → abliterated 84,7. Minus 5,8 Punkte auf Alltagsaufgaben, die mit Zensur nichts zu tun haben. Der Eingriff beschädigt das Modell messbar. Wer’s einsetzt, sollte das wissen.

Distillation ist kein Gratis-Mittagessen. Die offiziellen Qwen-3.8-Distills (4B und 9B, vom 27B-Lehrer destilliert) landen bei 69,3 und 77,2 — beide unter den regulären qwen3.5-Modellen gleicher Größe (76,6 / 80,8). Zumindest auf Deutsch bringt der jüngere Lehrer hier nichts; die Distills sind auf englische Benchmarks optimiert.

Temperatur ist kein Detail. Dasselbe ministral-8b, einmal mit Temperature 0,3 und einmal mit 0,7 gefahren: 72,6 vs. 70,4. Zwei Punkte nur durchs Sampling — so viel, wie manche Modell-Generation an Fortschritt bringt. Deshalb testet dieser Benchmark grundsätzlich mit den Hersteller-empfohlenen Parametern pro Modell.

Nachtrag 7. Oktober: Flash Next ohne Thinking, und Ornith 1.5

Sechs Varianten sind nachgezogen, mit denselben Fragen und denselben Judges. Die wichtigste: Qwen 3.8-Flash-Next ohne Thinking, 92,3 Punkte, Platz 3 im Gesamtfeld und bestes Modell ohne Thinking. Das Modell hat 125 Milliarden Parameter, von denen pro Wort nur 6 Milliarden rechnen. Es passt auf keine Grafikkarte, läuft aber mit 64 GB RAM plus einer 12-GB-Karte über die Engine Strata, die nur dieses eine Modell kann und dafür schnell ist. Auf meiner RTX 5090 mit 96 GB RAM: rund 170 Wörter pro Sekunde beim Antworten, rund 6.000 beim Lesen.

Aber: Die 92,3 kommen nicht von der Engine, sondern vom abgeschalteten Thinking. Dasselbe Modell mit Thinking landet bei 86,9 (Strata) bzw. 88,2 (llama.cpp, mein Lauf vom August). Der Unterschied sitzt fast komplett in einer Kategorie: Halluzination. Ohne Thinking sagt das Modell bei erfundenen Büchern und Personen in 69 von 100 Fällen „kenne ich nicht“. Mit Thinking denkt es sich in 66 von 100 Fällen eine plausible Handlung zurecht und liefert sie ab. Das Nachdenken macht es hier selbstbewusster, nicht ehrlicher. Dazu liefen 8 von 1.000 Thinking-Antworten in eine Endlosschleife. Wer das Modell einsetzt, sollte Thinking aus lassen, egal was die Voreinstellung sagt.

Ehrlichkeitshalber: Meine beiden Flash-Next-Läufe vom August standen bisher ohne Thinking-Kennzeichnung im Viewer, obwohl sie mit Thinking liefen. Sie heißen jetzt -thinking, die Zahlen sind unverändert.

Ornith 1.5 (9B und 35B-A3B, Feintunings von Qwen 3.5): ohne Thinking 81,0 und 87,8, mit Thinking 86,3 und 91,0. Gegenüber der Qwen-3.5-Basis deutlich besser bei Halluzination und Wissensgrenze, schwächer im Multi-Turn, und mit Thinking insgesamt unter den Qwen-Originalen. Das 35B-A3B ohne Thinking (87,8 gegen 85,2) ist der eigentliche Gewinn.

Was der Test nicht kann

Wie immer ehrlich: keine agentischen Fähigkeiten (Tool-Nutzung, Selbstkorrektur — kommt als eigene Testrunde), kein Long-Context über 8k Prompt-Token, keine Multimodalität, nur Deutsch, Fachdomänen nur als Alltagssprache. Und die Rubrik-Bewertung freier Texte (E-Mail-Qualität) bleibt die wackeligste Disziplin — auch nach der Validierung ist sie eher ein Gut/Mittel/Schwach-Signal als eine Nachkommastellen-Wissenschaft. Die vier abgebrochenen Teilserien im Datensatz sind markiert und fließen in kein Ranking ein.

Welches lokale KI-Modell für welchen Zweck?

Allrounder mit ausreichend Hardware (ab 24 GB VRAM): qwen3.8-27b (Q4). Wer Antwortzeit übrig hat: qwen3.5-27b-thinking.

Wenig VRAM, hohe Ansprüche: qwen3.5-9b-thinking — Platz 4 im Gesamtfeld, braucht als Q4 nur ~8 GB VRAM.

Einstieg / Laptop: gemma-4-e4b (84,2) bleibt der König der Kleinen.

Sparfüchse mit großem Modellhunger: Ein 27B in Q2 (89,4) schlägt jedes kleine Modell in jeder Quantisierung. Lieber groß und hart quantisiert als klein und fein.

Regulierte Branchen: Generalist + saubere RAG-Pipeline. Die Spezialisten- und Abliterated-Ergebnisse sind zwei weitere Belege, dass Eingriffe ins Modell meist mehr kaputt machen als sie bringen.

Selbst nachprüfen

Alles ist offen einsehbar: der interaktive Viewer zeigt jede Antwort, jedes Kriterium, beide Judge-Urteile und neu den kompletten Quantisierungs-Vergleich. Der Gold-Set-Tab dokumentiert, wie gut die Judges gegen menschliches Urteil abschneiden — inklusive der Fälle, in denen sie danebenlagen.

Und wenn du wissen willst, was das für dein Unternehmen heißt — welche Hardware, welches Modell, welcher Anwendungsfall zuerst: buche einen Potenzialcheck. Ehrliche Einschätzung, keine Verkaufsshow. Wenn lokale KI bei dir (noch) keinen Sinn ergibt, sage ich dir auch das.