Regression ist die Aufgabe des maschinellen Lernens, einen kontinuierlichen Zahlenwert vorherzusagen – etwa den Preis einer Immobilie, die Temperatur von morgen oder den Umsatz des nächsten Quartals. Im Gegensatz zur Klassifikation (diskrete Kategorien) ist die Antwort hier eine reelle Zahl. Wie die Klassifikation gehört die Regression zum Supervised Learning im Rahmen des maschinellen Lernens.
Lineare Regression als Grundbaustein
Die einfachste Form modelliert den Zielwert als gewichtete Summe der Eingabemerkmale: y = w1x1 + w2x2 + … + b. Die Gewichte w und der Bias b werden so gewählt, dass die Vorhersagen möglichst dicht an den beobachteten Werten liegen. Klassisch geschieht das mit der Methode der kleinsten Quadrate, die die Summe der quadrierten Abweichungen minimiert und für kleine Probleme sogar geschlossen (ohne Iteration) lösbar ist.
Optimierung und Fehlermaße
Bei vielen Merkmalen oder großen Datensätzen optimiert man das Modell iterativ mit Gradient Descent. Als Zielgröße dient typischerweise die Loss Function Mean Squared Error (MSE) – der Durchschnitt der quadrierten Abweichungen zwischen Vorhersage und Wahrheit. Gebräuchlich sind auch der RMSE (Wurzel des MSE, in der Einheit der Zielgröße) und der MAE (mittlerer absoluter Fehler). Das Bestimmtheitsmaß R² gibt an, welcher Anteil der Varianz durch das Modell erklärt wird; Werte nahe 1 bedeuten eine sehr gute Anpassung.
Verfahren und Erweiterungen
- Polynomiale Regression – krummlinige Zusammenhänge durch höhere Potenzen der Merkmale
- Ridge und Lasso – Regularisierung, die extreme Gewichte bestraft und Overfitting eindämmt
- Support Vector Regression (SVR) – die Support Vector Machine als Regressionsverfahren
- Random Forest und Gradient Boosting – Ensemble-Methoden für komplexe, nichtlineare Zusammenhänge
- Neuronale Netze – flexibelste Variante, benötigen aber ausreichend Daten
Ein gutes Dataset und ein sorgfältiges Training sind die Basis; das Ergebnis ist ein trainiertes Modell. Zu große Modellkomplexität führt wie bei der Klassifikation zu Overfitting: Das Modell glättet die Trainingsdaten perfekt, versagt aber auf neuen Daten.
Anwendungen
Regression prognostiziert Immobilien- und Aktienpreise, Umsätze, Energiebedarf, Wetter- und Umweltwerte oder die verbleibende Lebensdauer von Maschinen (Predictive Maintenance). Wer statt eines Zahlenwerts eine Kategorie braucht, nutzt die Klassifikation; wer ohne Labels Strukturen sucht, das Clustering.