Definition in einem Satz
Eine neuronale Architektur, die hauptsächlich auf Aufmerksamkeit basiert und Beziehungen zwischen Elementen einer Sequenz oder mehrerer Modalitäten verarbeitet.
So ist dieser Begriff zu verstehen
Ein Transformer ist eine neuronale Architektur, die Aufmerksamkeit verwendet, um Elemente einer Sequenz zu verknüpfen. Die Aufmerksamkeit ermöglicht die Kombination von Informationen aus verschiedenen Positionen; Positionsrepräsentationen helfen, die Reihenfolge zu erhalten. Der ursprüngliche Artikel stellte sie für die maschinelle Übersetzung vor, und später erschienen zahlreiche Varianten und Anwendungen.
Architektur und Produkt sind nicht dasselbe. Zwei auf Transformer basierende Modelle können sich in Daten, Training, Größe, Modalitäten, Grenzen und Verhalten unterscheiden. Auch nicht alle KI-Systeme verwenden diese Architektur. Bei der Modellwahl ist es wichtig, die konkrete Aufgabe zu messen, statt Fähigkeiten aufgrund des Labels 'Transformer' vorauszusetzen.
Praktisches Beispiel: In einem Satz mit mehreren Personen kann die Aufmerksamkeit helfen, ein Pronomen mit vorherigen Informationen zu verknüpfen. Dies beweist kein menschliches Verständnis und garantiert nicht, dass eine generierte Erklärung die interne Berechnung treu beschreibt. In Dokumentanwendungen müssen Referenzen, Verneinungen und lange Abhängigkeiten mit Beispielen bewertet werden, die überprüfbare Antworten haben.
