Attention (deutsch: Aufmerksamkeit) ist ein Mechanismus in neuronalen Netzen, der es dem Modell erlaubt, bei der Verarbeitung gezielt auf die relevanten Teile der Eingabe zu fokussieren. Statt jede Information gleich zu gewichten, entscheidet das Modell selbst, worauf es „hinschaut". Attention ist das Herzstück der Transformer-Architektur und damit die Grundlage fast aller modernen Large Language Models.
Das Problem: Zu viel Kontext
Ältere Modelle wie rekurrente Netze verarbeiteten Text Wort für Wort und vergaßen dabei frühere Informationen. Bei längeren Texten ging der Zusammenhang verloren. Attention löst das, indem jedes Wort der Eingabe mit jedem anderen Wort in Beziehung gesetzt wird — das Modell kann jederzeit auf jede relevante Stelle zurückgreifen.
Wie Attention funktioniert
Jedes Eingabe-Token (ein Token ist ein Wortteil oder Wort) wird in drei Vektoren übersetzt:
- Query (Frage): Wonach sucht dieses Token?
- Key (Schlüssel): Was bietet dieses Token an?
- Value (Wert): Welche Information liefert dieses Token?
Die Aufmerksamkeitsgewichte entstehen, indem jede Query mit allen Keys verglichen wird. Je ähnlicher Query und Key, desto mehr Gewicht bekommt der zugehörige Value. Das Ergebnis ist eine gewichtete Summe: Die Ausgabe eines Tokens ist eine Mischung aller anderen Tokens, gewichtet nach Relevanz.
Self-Attention und skalierte Punktprodukt-Aufmerksamkeit
Bei Self-Attention stammen Query, Key und Value aus derselben Eingabe — das Modell betrachtet also den Text selbst und erkennt Beziehungen zwischen den Wörtern. Das klassische Beispiel: Im Satz „Das Tier überquerte die Straße nicht, weil es zu müde war" muss das Modell wissen, dass „es" sich auf „Tier" bezieht. Genau das leistet Self-Attention.
Die gängigste Berechnung ist die skalierte Punktprodukt-Aufmerksamkeit: Die Ähnlichkeit (Punktprodukt) zwischen Query und Key wird durch die Quadratwurzel der Vektor-Dimension skaliert, damit die Gewichte nicht zu groß werden. Anschließend macht eine Softmax-Funktion daraus Wahrscheinlichkeiten, die die Values gewichten.
Multi-Head-Attention
Transformer verwenden Attention nicht einmal, sondern in mehreren „Köpfen" parallel (Multi-Head-Attention). Jeder Kopf lernt einen anderen Aspekt der Beziehungen — einer achtet auf Grammatik, einer auf Bedeutung, einer auf Position. Die Köpfe werden am Ende zusammengeführt, was dem Modell ein reichhaltigeres Verständnis gibt.
Warum Attention so erfolgreich ist
- Parallellisierung: Alle Paare können gleichzeitig berechnet werden, anders als bei sequenziellen Netzen — das macht Training auf GPUs schnell.
- Langer Kontext: Attention verbindet weit auseinanderliegende Wörter direkt, ohne Informationsverlust durch Zwischenschritte.
- Interpretierbarkeit: Die Gewichte zeigen, welche Wörter sich gegenseitig beeinflussen — hilfreich, um Fehler zu analysieren.
Die gelernten Gewichte der Attention entstehen während des Trainings — sie werden nicht programmiert, sondern aus Daten gelernt. Grundlage dafür sind Embeddings, die Wörter in Zahlenvektoren übersetzen.
Verwandte Grundlagen: LLM, Transformer, Embedding, Token, Maschinelles Lernen, Training.