Lokale Sprachmodelle auswählen, quantisieren und evaluieren

1. Erst die Aufgabe definieren, dann das Modell auswählen

Ein lokales Modell führt die Inferenz auf Hardware aus, die du kontrollierst, statt jede Anfrage an einen entfernten Dienst zu senden. Das kann die Offenlegung von Daten gegenüber Dritten verringern und einen Betrieb ohne Internet ermöglichen, sobald Modell und Abhängigkeiten heruntergeladen wurden. Privatsphäre ist damit jedoch nicht automatisch gewährleistet: Eine Benutzeroberfläche, ein Plug-in, ein Aktivitätsprotokoll oder ein angebundenes Werkzeug kann weiterhin Informationen übertragen.

Beschreibe zunächst die Aufgabe, die zulässigen Daten, die Mindestqualität und das erwartete Anfragevolumen. Für die Klassifizierung von Nachrichten oder das Extrahieren von Feldern kann ein kleines Modell genügen. Ein Assistent, der Werkzeuge nutzt, komplexe Dokumente interpretiert oder lange Gespräche führt, erfordert anspruchsvollere Tests. Die Parameterzahl allein sagt nicht voraus, wie gut das Modell für deinen konkreten Anwendungsfall geeignet ist.

2. Modell, Lizenz und Format auswählen

Vergleiche Kandidaten, die in deiner Umgebung laufen können und deren Lizenz die geplante Nutzung erlaubt. Prüfe die offizielle Modellkarte: Architektur, Größe, Kontextgrenzen, Sprachen, multimodale Fähigkeiten und Bedingungen für die Weitergabe. Vergewissere dich außerdem, dass die gewählte Laufzeitumgebung die Architektur und die konkrete Gewichtsvariante unterstützt. Viele Parameter oder eine aktive Community sind kein Beleg dafür, dass ein Modell für den Produktionseinsatz geeignet ist.

GGUF ist ein verbreitetes Format in Workflows auf Basis von llama.cpp und kompatiblen Werkzeugen, aber keine allgemeine Voraussetzung für lokale Inferenz. Andere Stacks verwenden andere Formate und Engines. Halte für jeden Kandidaten die genaue Kennung, den Gewichtsstand, das Format, die Quantisierung, die Laufzeitumgebung und die Konfiguration fest. So lassen sich Tests reproduzieren und Änderungen nach einer Aktualisierung erkennen.

3. Erst eine Referenzmessung erstellen, dann quantisieren

Quantisierung verringert die numerische Genauigkeit von Modellgewichten oder anderen Werten, um Speicher zu sparen. Je nach Hardware und Laufzeitumgebung kann sich dadurch auch die Inferenzgeschwindigkeit ändern. Die Einsparung kann es ermöglichen, Modelle zu laden, die in einer höherpräzisen Darstellung nicht in den Speicher passen würden; zugleich kann die Qualität sinken. Der Effekt hängt von Modell, Verfahren, Aufgabe und Backend ab. Ein fester Qualitätsverlust lässt sich daher nicht versprechen, und eine Kennzeichnung mit vier oder fünf Bit sagt für sich genommen nicht voraus, wie gut das Ergebnis ausfällt.

Q4_0, Q5_1 und Q4_K_M sind keine austauschbaren Bezeichnungen. Die Varianten gehören zu unterschiedlichen Formaten und Schemata. Prüfe vor dem Herunterladen die Beschreibung der Quantisierung und die tatsächliche Dateigröße. LoRA ist dagegen ein Anpassungsverfahren mit zusätzlichen Parametern und keine Quantisierungsstufe. Es kann mit bestimmten Quantisierungs-Workflows kombiniert werden, ist aber keine gleichwertige Alternative zu Q4 oder Q5.

4. Speicher und Hardware mit Reserve dimensionieren

Den anfänglichen Speicherbedarf der Gewichte kannst du schätzen, indem du die Parameterzahl mit der Zahl der Bytes pro Parameter multiplizierst. Ein Modell mit sieben Milliarden Parametern in FP16 benötigt für die Gewichte zum Beispiel ungefähr vierzehn Milliarden Byte, bevor weitere Verbräuche berücksichtigt sind. Bei einer Vier-Bit-Quantisierung fällt die ideale Rechnung für die Gewichte geringer aus. Dateigröße und tatsächlicher Speicherverbrauch entsprechen diesem theoretischen Minimum jedoch nicht exakt: Metadaten, Skalierungswerte, Tensoren mit anderer Präzision und Anforderungen der Laufzeitumgebung kommen hinzu.

VRAM ist wichtig, wenn Schichten auf eine GPU ausgelagert werden. System-RAM ermöglicht die Ausführung auf der CPU oder die Aufnahme von Modellteilen, die nicht in den GPU-Speicher passen. Zusätzlich beanspruchen Gesprächskontext, KV-Cache, Aktivierungen und bei gleichzeitigem Betrieb mehrere Anfragen Speicher. Deshalb kann eine Modelldatei scheinbar in den VRAM passen, während das Laden scheitert oder bei langen Kontexten der Speicher knapp wird. Die Dateigröße eignet sich zum Vorauswählen, reicht aber nicht für die endgültige Dimensionierung.

5. Datenschutz und Betrieb ohne Netzwerkverbindung einrichten

Lokale Inferenz kann Daten auf dem Gerät halten, doch „lokal“ bedeutet nicht automatisch „isoliert“. Downloads von Modellen, Aktualisierungen, Telemetrie, Weboberflächen, Proxys, Erweiterungen und Protokolle können Netzwerkverbindungen erzeugen. Erfasse alle Komponenten und lege fest, welche Netzwerkziele sie benötigen. Muss das System ohne Internet funktionieren, lade Gewichte, Abhängigkeiten und Lizenzen vorab herunter und prüfe sie. Teste anschließend die ausgehende Sperre in der tatsächlichen Umgebung.

Nutze Netzwerksegmentierung und Firewallregeln nach dem Prinzip der minimal erforderlichen Berechtigungen. Beschränke den Zugriff auf den Inferenz-Endpunkt, mache ihn nicht direkt aus öffentlichen Netzwerken erreichbar und schütze Protokolle. Behandle Prompts, Antworten und Dokumente als sensible Daten, wenn sie interne Informationen enthalten. Ein Offline-Test muss bestätigen, dass die Anwendung ohne externe Aufrufe funktioniert – nicht nur, dass das Modell bereits heruntergeladen wurde.

6. Qualität, Latenz und Durchsatz validieren

Bewerte jede Konfiguration mit einem repräsentativen, stabilen Testsatz, der nicht zum Optimieren der Prompts verwendet wurde. Lege die Qualitätsmetriken passend zur Aufgabe fest: Genauigkeit oder F1 für Klassifizierung, korrekte Felder für Extraktion und eine menschliche Prüfung nach einheitlichen Kriterien für offene Antworten. BLEU und ROUGE können bei bestimmten Textvergleichsaufgaben hilfreich sein, ersetzen aber keine Bewertung von Faktentreue, Anweisungsbefolgung oder Risiko. Eine hohe lexikalische Übereinstimmung beweist nicht, dass eine Antwort richtig ist.

Miss Ladezeit, Zeit bis zum ersten Token, Gesamtdauer und Tokens pro Sekunde. Unterscheide einen Kaltstart von einem Lauf mit bereits geladenem Modell. Dokumentiere Hardware, Treiber, Laufzeitumgebung, Modellversion, Quantisierung, Kontext, Batchgröße und Zahl gleichzeitiger Sitzungen. Lokale Inferenz vermeidet einen Teil der Netzwerklatenz, garantiert aber keine kürzere Gesamtlatenz. Entscheidend sind Gerät, Modell und Auslastung.

7. Dienst versionieren und warten

Fixiere Versionen von Gewichten, Quantisierung, Laufzeitumgebung, Bibliotheken und Konfiguration. Bewahre, sofern verfügbar, Prüfsummen der Artefakte auf und speichere Modelle an kontrollierten Speicherorten. Führe vor jeder Aktualisierung die Tests zu Qualität, Leistung, Kompatibilität und Isolation erneut aus. Eine Aktualisierung kann Antworten, Speicherverbrauch oder Werkzeugverhalten verändern, auch wenn der angezeigte Modellname ähnlich bleibt.

Überwache Fehler, Speicherauslastung, Latenz und Verfügbarkeit. Lege ein Verfahren zur Rückkehr auf eine geprüfte Version fest und eine Regelung für das Entfernen anfälliger Artefakte oder solcher mit ungeeigneter Lizenz. Nutzt das System Werkzeuge, beschränke Berechtigungen auf das notwendige Minimum und prüfe Aufrufe vor der Ausführung. Auch ein lokales Modell kann falsche Anweisungen oder manipulierte Inhalte erzeugen.

8. Checkliste und praktische Entscheidungskriterien

Die passende Wahl ist die kleinste und einfachste Konfiguration, die die gemessenen Anforderungen erfüllt – nicht zwingend das größte Modell oder die aggressivste Quantisierung. Erreicht eine Option die Mindestqualität nicht, ändere Modell oder Konfiguration und wiederhole die Bewertung. Überschreitet sie Speicher- oder Latenzgrenzen, prüfe zunächst Kontextlänge, gleichzeitige Nutzung und die Verteilung zwischen CPU und GPU.

Die verfügbaren Quellen stützen allgemeine Prinzipien der Quantisierung und dokumentieren Optionen einer bestimmten Plattform. Sie belegen jedoch weder einen universellen Qualitätsverlust beim Wechsel von FP16 zu einer bestimmten Quantisierung noch universelle VRAM-Anforderungen für 7B- oder 13B-Modelle. Diese Werte müssen für das konkrete Artefakt, die Laufzeitumgebung, die Aufgabe und die Hardware überprüft werden.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.