Ein Gewicht (englisch weight) ist im maschinellen Lernen ein lernbarer Parameter, der die Stärke einer Verbindung zwischen zwei Neuronen angibt. Jede Verbindung in einem neuronalen Netz besitzt ein Gewicht; die gewichtete Summe der Eingaben eines Neurons bestimmt zusammen mit dem Bias dessen Aktivierung. Gewichte sind die eigentliche „Erinnerung" eines trainierten Modells.
Forward-Pass
y = aktivierung( w1*x1 + w2*x2 + ... + wn*xn + b )Ein künstliches Neuron multipliziert jede Eingabe xi mit ihrem Gewicht wi, summiert die Produkte auf, addiert den Bias und wendet eine Aktivierungsfunktion an. Positive Gewichte verstärken ein Signal, negative dämpfen es oder wirken hemmend.
Lernen durch Anpassen
Beim Training werden die Gewichte iterativ verändert, um den Vorhersagefehler zu minimieren. Das Standardverfahren ist die Backpropagation in Kombination mit dem Gradient Descent: Der Fehler wird von der Ausgabe rückwärts durch das Netz geleitet, und jedes Gewicht wird in Richtung des negativen Gradienten verschoben. Die Schrittweite bestimmt die Lernrate.
Initialisierung
Vor dem Training dürfen Gewichte nicht alle gleich (etwa alle null) sein, sonst lernen alle Neuronen einer Schicht identisch (Symmetrie-Problem). Übliche Startwerte liefern die Xavier-/Glorot-Initialisierung (für Sigmoid/Tanh) und die He-Initialisierung (für ReLU): Sie skalieren die Gewichte passend zur Zahl der ein- und ausgehenden Verbindungen, sodass Aktivierungen und Gradienten weder verschwinden noch explodieren. Übliche Frameworks initialisieren zudem mit kleinen Zufallswerten.
Abgrenzung
- Gewicht vs. Bias: Das Gewicht skaliert eine Eingabe, der Bias verschiebt die Aktivierung unabhängig von den Eingaben.
- Gewicht vs. Hyperparameter: Gewichte entstehen automatisch beim Training, Hyperparameter (Lernrate, Schichtbreite) werden von Entwicklern gesetzt.
- Gewicht vs. Parameter allgemein: In KI-Modellen sind Gewichte und Biases zusammen die typischen lernbaren Parameter.
Verwandte Grundlagen: Versteckte Schicht, Multi-Layer-Perceptron, Neuronale Netze.