Lineare Regression ist das einfachste und älteste Verfahren des maschinellen Lernens: Sie modelliert den Zusammenhang zwischen einer numerischen Zielgröße y und einer oder mehreren Eingabegrößen x als Gerade (bzw. Hyperebene).
y = w0 + w1*x1 + w2*x2 + ... + wn*xnDie Gewichte w werden so gewählt, dass die Abweichung zwischen Vorhersage und tatsächlichem Wert auf den Trainingsdaten minimal wird. Übliches Fehlermaß ist der mittlere quadratische Fehler (MSE), also die Loss-Funktion.
Wie die Gewichte gelernt werden
Es gibt zwei Wege: Die Normalengleichung liefert die optimale Lösung in einem Schritt (geschlossen), ist aber bei vielen Merkmalen rechenintensiv. Das iterative Verfahren ist der Gradientenabstieg, der die Gewichte in kleinen Schritten in Richtung des steilsten Abstiegs verschiebt — die Schrittweite steuert die Lernrate.
Eigenschaften und Grenzen
- Interpretierbar: Jeder Koeffizient zeigt, wie stark und in welche Richtung das Merkmal die Vorhersage beeinflusst.
- Annahme der Linearität: Der Zusammenhang muss (näherungsweise) linear sein; der Kernel-Trick kann lineare Modelle auf nichtlineare Probleme ausdehnen.
- Empfindlich gegenüber Ausreißern: Ein einzelner extremer Datenpunkt kann die Gerade stark verziehen.
- Regularisierte Varianten: Ridge (L2-Strafterm) und Lasso (L1-Strafterm) verkleinern die Koeffizienten und reduzieren Overfitting.
Abgrenzung zur logistischen Regression
Trotz des Namens ist die logistische Regression kein Regressions-, sondern ein Klassifikations-Verfahren: Sie drückt die lineare Kombination durch die Sigmoid-Funktion und liefert eine Wahrscheinlichkeit. Beide sind Grundpfeiler des überwachten Lernens.
Anwendungen der linearen Regression: Preisprognosen, Umsatzschätzungen, Trendlinien und jede Aufgabe, bei der eine kontinuierliche Zahl vorhergesagt werden soll.