DAS BESTE LOKALE KI-MODELL

Die falsche Frage

Wer trotzdem eine Antwort verlangt, bekommt viele Ranglisten im Internet. Ranglisten sind Notendurchschnitte. Ungünstig nur, wenn der Notendurchschnitt verschweigt, dass der Kandidat ausgerechnet in dem Fach eine Sechs hat, was seiner künftigen Aufgabe entspricht.

Anfang September 2026 stand ich vor der Aufgabe, diese Frage dennoch zu beantworten. Das Projektbudget und die daraus abgeleitete Hardware waren gesetzt: vier RTX 5070 Ti mit je 16 GB. Die zu erfüllende Aufgabe: im lokalen Wissensmanagement liefern.

Welches Modell gewonnen hat, steht am Ende, ist aber der uninteressanteste Teil. Interessant ist das Vorgehen. Es funktioniert auch in ein paar Monaten noch, während die getroffene Modellauswahl bis dahin vermutlich obsolet ist. Vier Schritte, eine Woche Aufwand.

Schritt 1: Den Maßstab festlegen, bevor die erste Zahl da ist

Das kostet zwanzig Minuten und ist der wichtigste Schritt überhaupt. Wenn wir nicht wissen, was genau wir messen, und es nicht in Zahlen ausdrücken können, bleibt jeder Vergleich Gefühlssache.

Nur: Was ist eigentlich eine „qualitativ hochwertige Antwort"? Auch das hat mehrere Dimensionen. Jede davon muss ein Gewicht bekommen, sonst lässt sie sich nicht verrechnen. Und dieses Gewicht legt man vorher fest, nicht nachher.

Dazu kommen harte Grenzen: Werte, bei denen ein Kandidat ausscheidet, egal wie gut er sonst dasteht. Wie wichtig die sind, zeigt der nächste Schritt.

Schritt 2: Intelligent aussieben, teuer erst zuletzt

Die Reihenfolge der Prüfungen ist nicht beliebig. Zuerst kommen die Fragen, die sich in Minuten beantworten lassen. Erst: startet es überhaupt? Dann: bedient es mehrere Nutzer? Und erst danach die teure Frage nach der Antwortqualität.

Neun von zwölf Konfigurationen scheiden aus, bevor die erste Frage gestellt wird. Für drei Viertel des Feldes ist die Antwortgüte gar nicht die relevante Größe. Sie passen schlicht nicht auf die vorhandene Hardware. Natürlich könnte man jetzt experimentieren, um sie doch zum Laufen zu bringen: eine andere Quantisierung, eine andere Aufteilung über die Karten, eine höhere Speicherausnutzung, eine neuere Version der Serving-Software. Solange aber genug Kandidaten out of the box laufen und deren Messergebnisse den Anforderungen entsprechen, bleibt das Plan B.

Parallelität und Geschwindigkeit

Ein Modell gilt bei einer bestimmten Nutzerzahl als brauchbar, wenn zwei Bedingungen erfüllt sind: Die Zeit bis zum ersten Zeichen bleibt im 95. Perzentil unter drei Sekunden, und jeder Nutzer bekommt mindestens 20 Token je Sekunde. Eine feste Zielzahl haben wir bewusst nicht vorgegeben. Stattdessen wird eine Leiter gefahren, 1, 2, 4, 8, 16 Nutzer und weiter, bis das Gate zweimal hintereinander reißt. Die höchste Stufe, die beide Bedingungen noch hält, ist die nutzbare Parallelität. Bei den drei Finalisten waren das acht gleichzeitige Nutzer für Nemotron und jeweils vier für die beiden anderen.

Entscheidend ist, was gemessen wird. Nicht die Gesamtlatenz einer Anfrage: Die vermischt die Reaktionszeit bis zum ersten Token mit der Schreibdauer. So erlebt niemand die Responsiveness eines Systems. Vor dem Bildschirm sind es zwei getrennte Dinge. Vor allem: Wie lange passiert nach meiner Eingabe nichts? Und erst nachgelagert: Wie flüssig läuft der Text dann ins Chatfenster?

Schritt 3: Die Fragen aus den eigenen Akten bauen

Hier liegt der eigentliche Unterschied zu jeder veröffentlichten Rangliste. Und gleichzeitig der größte Aufwand. Gemessen wird nicht mit offen einsehbaren Fragekatalogen. Diese kennen die Modelle inzwischen selbst. Gemessen wird mit dem, was das Modell künftig täglich sieht: ein Ausschnitt aus Ihren eigenen Dokumenten und ein darauf aufgebauter Fragenkatalog. In unserem Fall waren das 300 Fragen aus 145 Einträgen der internen Wissensplattform, gestreut über verschiedene Abteilungen.

Bei der Antwortqualität soll ein möglichst breites Bild des Modells entstehen. Ein simples „kann Angaben korrekt ablesen" wäre zu kurz gesprungen. Deshalb acht Fragetypen. Der ausschlaggebende ist „unanswerable". Der Clou: 60 der 300 Fragen haben im vorgelegten Kontext bewusst keine Antwort. „Ich weiß, dass ich es nicht weiß" ist hier eine der wichtigsten Eigenschaften überhaupt. Ein Modell, das Mitarbeiter im Wissensmanagement unterstützt, trifft zwangsläufig auf Lücken. Nicht jede Frage ist von der Dokumentation gedeckt. Eine erfundene Antwort schmerzt dann doppelt: Sie ist falsch, und sie sieht aus wie eine Auskunft aus dem eigenen Haus.

Auch mal etwas Unerwartetes geben

KI-Modelle arbeiten intern viel mit Weltwissen, also mit dem, was sie aus ihren Trainingsdaten mitbekommen haben und was ihrem „wahrscheinlichsten" Verständnis der Welt entspricht. Aber was, wenn ein Fakt in Ihrer Firma nicht dem entspricht, wie es allgemein gelehrt und beschrieben wird? Auch dafür gibt es ein Kriterium. „counterfactual" misst den Anteil der Fragen, bei denen das Modell entgegen seinem Weltwissen korrekt aus der vorgelegten Quelle antwortet.

Schritt 4: Bewerten, und warum sich der Aufwand lohnt

Die drei verbliebenen Kandidaten bekamen dieselben 300 Fragen, denselben Kontext, dasselbe Format. Bewertet hat ein separates, größeres Sprachmodell, das jede Antwort gegen die hinterlegte Referenzantwort geprüft hat.

Die Gesamtnoten der drei Finalisten liegen dicht beieinander: 0,90, 0,82 und 0,91. Das zeigt, dass inzwischen alle namhaften offenen Modelle in einem abgegrenzten Aufgabengebiet gut performen. Ein genauerer Blick in die Messwerte bestätigt aber noch einmal die eingangs erwähnte Aussage: Das „beste Modell" hängt immer davon ab, wofür man es später braucht.

Aufgeschlüsselt nach Fragetyp sieht dasselbe Feld anders aus.

Nemotron beantwortete rund 31 Prozent der unbeantwortbaren Fragen, statt zu sagen, dass die Information nicht vorliegt. Bei Qwen waren es 3 Prozent. Dasselbe Modell hat die beste Fakten-Note im Feld und die einzige perfekte Formattreue. Auf einer öffentlichen Rangliste hätte es glänzend ausgesehen.

Für ein System, das Mitarbeitern Auskunft über Firmendokumente gibt, ist es das ungeeignetste der drei. Ein Assistent, der in knapp einem Drittel der Fälle etwas erfindet, statt die Lücke zu benennen, erzeugt Arbeit, statt sie zu sparen. Jede Antwort muss dann nachgeprüft werden.

Das ist der ganze Punkt. Öffentliche Ranglisten sind Gesamtnoten und können nicht wissen, welche Teilnote in Ihrem Fall entscheidet.

Die letzte Zeile ist ein Planungshinweis: Wenn Ihr Hauptanwendungsfall das Rechnen ist, dann ist die Modellauswahl nicht das hauptsächliche Problem. Dann braucht das Modell ein Harness, also eine Umgebung, in der es Berechnungen und Analysen ausgelagert ausführen lassen kann. Ein Sprachmodell allein rechnet nicht zuverlässig.

Der Sieger

Gewählt wurde in diesem Fall Qwen 3.6, nicht der Punktsieger. Entgegen der Gewichtung war der ausschlaggebende Grund die Verweigerungsquote, die für ein Wissensmanagementsystem einfach passen muss.

Eine Punkterechnung ordnet ein Feld. Die Entscheidung ersetzt sie aber nicht.

Die Grenzen der Methode

Eine harte Schwelle macht knappe Fälle schärfer, als sie sind. Das Lastgate sagt: unter drei Sekunden bestanden, darüber durchgefallen. Ein Kandidat lag bei 2,91 Sekunden, und genau das hat seine nutzbare Parallelität verdoppelt. Ein Gate ordnet das Feld, es ist aber keine Naturkonstante.

Das Ganze ist eine Momentaufnahme. Eine bestimmte Version der Serving-Software, ein bestimmter Treiber, ein bestimmter Modellstand. Zwei der fünf Kandidaten, die nicht einmal gestartet sind, scheiterten an Lücken in der Software, die in einem halben Jahr vermutlich geschlossen sind. Das Vorgehen bleibt gültig. Die Rangliste nicht.

Das Rezept

1. Gewichtung festlegen, bevor die erste Zahl da istUnd dazuschreiben, ab welchem Gewicht die Empfehlung kippt.
2. Prüfungen nach Kosten sortierenStartet es? Bedient es genug Nutzer? Erst dann die teure Qualitätsmessung.
3. Fragenset aus den eigenen Dokumenten bauenMit rund 20 Prozent unbeantwortbaren Fragen, jede gegen den Volltext geprüft.
4. Nach Fragetyp auswerten, nicht nur als GesamtnoteSonst verschwindet die entscheidende Teilnote im Mittelwert.

Die richtige Frage lautet nicht, welches Modell das beste ist, sondern welches auf Ihrer Hardware startet, Ihre Nutzerzahl bedient und bei der einen Teilnote gut ist, auf die es in Ihrem Fall ankommt.

Das lässt sich messen. Es dauert eventuell etwas, ist aber in jedem Fall die Mühe wert. Und danach wissen Sie nicht nur, welches Modell Sie nehmen, sondern auch, bei welcher Änderung der Umstände Sie noch einmal hinschauen müssen. Das ist der eigentliche Gegenwert.