Embeddings: Bedeutung als Vektor

Ein Transformer wandelt Wörter und Sätze in Zahlenvektoren um. Inhalte mit ähnlicher Bedeutung landen im Vektorraum näher beieinander – auch wenn sie nicht dieselben Wörter verwenden.

1. Wörter oder Sätze eingeben

Eine Zeile = ein Text. Deutsch funktioniert; auch andere Sprachen können gemischt werden.

Transformer-Modell wird geladen …

Beim ersten Start kann der Modelldownload etwas dauern.

Modell

MiniLM

Vektordimensionen

384

Vergleich

Cosinus

Was passiert?

          Transformer → Vektor:
          Jeder Text wird in diesem Modell auf 384 Zahlen reduziert. Diese 384 Zahlen sind das Embedding.
          Der einzelne Zahlenwert ist kaum sinnvoll interpretierbar – entscheidend ist die Position relativ zu anderen Texten.
        

Semantische Ähnlichkeit: Zwei Texte können weit auseinanderliegende Wörter benutzen und trotzdem nah beieinander liegen: „Der Hund läuft im Park“ und „Ein Tier rennt draußen“ können ähnlicher sein als zwei Sätze, die nur zufällig dasselbe Wort enthalten.

Für Transformer/LLM: Embeddings sind eine zentrale Idee moderner Sprachverarbeitung: Sprache wird in mathematische Repräsentationen übersetzt. Die 2D-Karte unten ist nur eine vereinfachte Projektion des echten 384-dimensionalen Raums.

Embeddings: Bedeutung als Vektor

1. Wörter oder Sätze eingeben

2. Der semantische Raum

2D-Karte

Ähnlichste Paare

Ein echter 384-D-Vektor

Ähnlichkeitsmatrix