M
MISTRAL / mistralai/LIDstral-Arabic

LIDstral Arabic

Von Mistral am 9. Oktober 2026 auf Hugging Face veröffentlichter Sprach- und Dialektklassifikator. Er verarbeitet Text in arabischer Schrift und unterscheidet Hocharabisch, Dialekte und andere Sprachen mit derselben Schrift. Er ist weder generativer Assistent noch Transkriptionsmodell. Er kombiniert fastText one-vs-all, einen MLP-Klassifikator und klassenweise isotone Kalibrierung; ausgegeben werden ein Label und kalibrierte Wahrscheinlichkeiten für 51 Klassen.

01 / ZUSAMMENFASSUNG

Das Wesentliche

ORIENTIERUNGSprach- und Dialekterkennung

Primäre Verwendung angegeben oder vorsichtig aus offizieller Dokumentation abgeleitet.

KONTEXTNichtleerer Text nach Vorverarbeitung

Maximale Eingabekapazität bei Veröffentlichung durch die Quelle.

AUSFAHRTLabel und Wahrscheinlichkeiten für 51 Klassen

Dokumentierte maximale Erzeugungsgrenze.

ZUGANGHugging Face · fastText und PyTorch

Verifizierte Verfügbarkeitskanäle.

MODELLTYPTextklassifikation

Primäre Funktionsfamilie und verifizierte Spezialisierungen.

LIZENZApache 2.0

Deklarierte Bedingungen für API, Gewichte oder Self-Hosting.

02 / TECHNISCHES DATENBLATT

Limits und Integration

API-IDmistralai/LIDstral-Arabic
ModelltypTextklassifikation
ZugangsmodellOffene Gewichte
LizenzApache 2.0
EinsatzLokaler CPU-Klassifikator
Veröffentlichung09 OKT. 2026
WissensstichtagNicht veröffentlicht
EingangText
AusfahrtLabel und Wahrscheinlichkeiten
KontextfensterNichtleerer Text nach Vorverarbeitung
maximale LeistungLabel und Wahrscheinlichkeiten für 51 Klassen
ArgumentationNicht zutreffend
Veröffentlichte Tools
Strukturierte AusflügeJSON des lokalen Klassifikators
StapelverarbeitungNicht veröffentlicht
Prompt-CacheNicht veröffentlicht
FeinabstimmungNicht veröffentlicht
Verifizierte PlattformenHugging Face · fastText · PyTorch
EIGNET SICH BESSER FÜR

Korpusklassifikation, sprachabhängiges Routing, Auswahl sprachlicher Ressourcen und Dialektanalyse. Nichtarabische Sprachen im Training reduzieren die Verwechslung von Sprache und Schrift. Das offizielle Skript läuft auf CPU und bietet Einzeleingaben, Python-API und JSONL-Verarbeitung. Die Pipeline benötigt lid_ova_full.bin, mlp_stacker_ln.pt und isotonic_calibration.pkl gemeinsam.

SOLLTE BEOBACHTET WERDEN

Er wählt immer eine von 51 Klassen: nicht unterstützte Sprachen oder gemischtsprachige Texte können falsch eingeordnet werden. Die Vorverarbeitung entfernt Web- und ASR-Artefakte, diakritische Zeichen, dekorative Verlängerungen und wiederholte Satzzeichen; Alef-Varianten bleiben erhalten. Leere oder vollständig entfernte Eingaben führen zu Fehlern. Kalibrierte Konfidenz ersetzt weder Domänenvalidierung noch Regeln für unsichere Fälle.

03 / FÄHIGKEITEN

Was es kann

01

Orientierung

Korpusklassifikation, sprachabhängiges Routing, Auswahl sprachlicher Ressourcen und Dialektanalyse. Nichtarabische Sprachen im Training reduzieren die Verwechslung von Sprache und Schrift. Das offizielle Skript läuft auf CPU und bietet Einzeleingaben, Python-API und JSONL-Verarbeitung. Die Pipeline benötigt lid_ova_full.bin, mlp_stacker_ln.pt und isotonic_calibration.pkl gemeinsam.

02

Kontext

Nichtleerer Text nach Vorverarbeitung · Label und Wahrscheinlichkeiten für 51 Klassen

03

Tools und Integration

Nicht veröffentlicht

04

Zugang

Hugging Face · fastText und PyTorch

Eingabemodalitäten
Text
04 / PREISE

Dokumentierte Kosten

KonzeptWertEinheit/Zustand
StandardeingabeKein offizieller API-Preis veröffentlichtStandardtarif der API
Eingabe aus dem CacheNicht veröffentlichtLesen wiederverwendeter Präfixe
Schreiben oder Speichern im CacheNicht veröffentlichtDie Bedingung variiert je nach Anbieter
StandardausgabeKosten der eigenen InfrastrukturKann Reasoning-Tokens enthalten
Batch-EingabeNicht veröffentlichtAsynchrone Verarbeitung
Batch-AusgabeNicht veröffentlichtAsynchrone Verarbeitung

Das Profil nennt Apache 2.0; das Repository ist zum Prüfzeitpunkt öffentlich und nicht zugangsbeschränkt. Das Beispiel erwähnt noch einen privaten Download; daraus leiten wir keine verfügbare kommerzielle API ab. Gehosteter Endpoint und Tokenpreise sind nicht verifiziert. Eigener Betrieb verursacht CPU-, Speicher- und Betriebskosten; fixiere die Code-Revision vor dem Laden von Modelldateien.

i Die Preise ändern sich und können von Level, Region oder Kontextlänge abhängen. Überprüfen Sie die Quelle, bevor Sie eine Entscheidung treffen.

05 / BEWERTUNGEN

So lesen Sie die Ergebnisse

“

Mistral veröffentlicht eine Evaluation mit 84.870 arabischen Beispielen aus mehreren Datensätzen. Für marokkanisches Darija wird F1 von 88,67 % angegeben. Dialekt und Metrik bleiben ausdrücklich erhalten: Das ist keine Gesamtgenauigkeit und gilt nicht für alle Klassen. Inferama hat das Ergebnis nicht reproduziert. Eigene Tests sollten Konfusionsmatrix, Kalibrierung, gemischte Texte und Verhalten außerhalb der Trainingsverteilung prüfen.

BenchmarkErgebnisMetrikQuelle
LIDstral Arabic (Moroccan Darija)88,67 %F1Quelle öffnen ↗

Inferama hebt nur dann ein „bestes Ergebnis“ hervor, wenn Metrik, Testsatz, Konfiguration und Datum einen gleichwertigen Vergleich ermöglichen. Die Zahlen des Lieferanten werden als Angaben aus eigener Quelle dargestellt.

06 / VERSIONEN

Chronologie

LIDstral Arabic

Öffentliche Repository-Veröffentlichung. Das Erstellungsdatum 8. Oktober gilt nicht als Veröffentlichungsdatum.

07 / QUELLEN

Rückverfolgbarkeit