Der Bias (auch Bias-Term oder Schwellwert) ist im neuronalen Netz ein zusätzlicher lernbarer Parameter pro Neuron, der zur gewichteten Summe der Eingaben addiert wird, bevor die Aktivierungsfunktion greift. Er verschiebt die Aktivierungskurve unabhängig von den konkreten Eingaben und erhöht so die Ausdrucksfähigkeit des Netzes.
Warum ein Bias nötig ist
y = aktivierung( w1*x1 + w2*x2 + b )Ohne Bias wäre die gewichtete Summe bei einer Eingabe von null immer null — das Neuron könnte seinen Schwellwert nicht an die Daten anpassen. Der Bias wirkt wie der Achsenabschnitt einer Geradengleichung (y = m*x + b): Er erlaubt es dem Neuron, die Entscheidungsgrenze zu verschieben. Formal lässt er sich als Gewicht für eine konstante Eingabe von 1 auffassen.
Bias im Training
Der Bias ist ein gewöhnlicher lernbarer Parameter: Er wird wie die Gewichte während der Backpropagation mit dem Gradient Descent angepasst. In der Praxis enthalten fast alle Ebenen moderner Architekturen Bias-Terme — Ausnahmen sind etwa Batch-Normalization-Schichten, bei denen der Bias durch die gelernte Verschiebung ersetzt wird.
Abgrenzung: Bias-Konzept vs. Bias-Fehler
Der Bias-Term ist nicht zu verwechseln mit dem statistischen Bias (systematische Verzerrung eines Modells, etwa durch voreingenommene Trainingsdaten). Beide Begriffe teilen denselben Namen, bezeichnen aber unterschiedliche Dinge: Hier einen mechanischen Verschiebungsterm, dort eine Fehlerquelle. Im Englischen spricht man zur Verdeutlichung auch vom bias term der Neuronen.
Praxis
- Darstellung als Matrix: In Deep-Learning-Frameworks ist der Bias meist ein eigener Vektor pro Schicht, der bei der Matrixmultiplikation addiert wird.
- Initialisierung: Biases werden häufig mit null oder kleinen Werten initialisiert, während Gewichte speziell skaliert starten (Xavier/He).
- Konvergenz: Ein fehlender Bias kann das Training erschweren, weil alle Entscheidungsgrenzen durch den Nullpunkt laufen müssten.
Verwandte Grundlagen: Künstliches Neuron, Versteckte Schicht, Aktivierungsfunktion.