Definition - Positional Embedding

• Konstrukte:
  • Transformer
• Generalisierungen:
  • Embedding
• Involvierte Definitionen:
• Veranstaltung: EML
• Referenz: @sanderson2024a

⠀

Definition: Positional Embedding

Als Positional Embedding bezeichnen wir eine (häufig in Verbindung mit normalen Embeddings) eingesetzte Methode der Sequenzmodellierung, bei der jedem Objekt einer Sequenz ein Vektor auf Basis der Position des Objektes innerhalb der Sequenz zugeordnet wird.

In der Regel handelt es sich bei positional Embeddings um Vektoren, die elementweise auf den bestehenden Embedding-Vektor addiert werden.