Hyperebene: Die Trenngrenze im Merkmalsraum

Eine Hyperebene ist eine flache Trennfläche, die einen Raum in zwei Hälften teilt. Im zweidimensionalen Raum ist sie eine Gerade, im dreidimensionalen Raum eine Ebene, in höheren Dimensionen ein allgemeiner flacher Unterraum. Für das maschinelle Lernen ist sie die zentrale Entscheidungsgrenze vieler Klassifikationsverfahren.

Definition und Formel

In einem n-dimensionalen Raum hat eine Hyperebene die Dimension n − 1. Sie wird durch die Gleichung

w · x + b = 0

beschrieben. Dabei ist w der Normalenvektor, der senkrecht auf der Hyperebene steht, x ein Punkt im Raum und b ein Verschiebungsterm (Bias). Ein Punkt liegt genau dann auf der Hyperebene, wenn die Gleichung erfüllt ist. Das Vorzeichen von w · x + b entscheidet, auf welcher der beiden Seiten sich ein Punkt befindet — genau darauf baut die Klassifikation auf.

Der euklidische Abstand eines Punktes x zur Hyperebene beträgt |w · x + b| / ||w||. Der Normalenvektor bestimmt also nicht nur die Ausrichtung, sondern über seine Länge auch den Abstandsmaßstab.

Rolle in Support Vector Machines

Die Support Vector Machine sucht die Hyperebene, die zwei Klassen mit dem maximalen Abstand (Margin) trennt. Die Trainingspunkte, die diesem Abstand den Rand setzen, heißen Support Vektoren. Eine größere Marge führt in der Regel zu besserer Generalisierung auf neue Daten.

Sind die Daten nicht linear trennbar, hilft der Kernel-Trick: Die Punkte werden in einen höherdimensionalen Raum abgebildet, in dem eine Hyperebene die Klassen doch noch trennen kann. Im Originalraum erscheint die Entscheidungsgrenze dann gekrümmt.

Hyperebenen in neuronalen Netzen

Auch ein einzelnes Neuron eines neuronalen Netzes berechnet im Kern w · x + b und entscheidet anhand des Vorzeichens. Die Entscheidungsgrenze eines solchen Neurons ist damit immer eine Hyperebene — erst die nichtlineare Aktivierung und mehrere Schichten ermöglichen gekrümmte Grenzen.

Verwandte Begriffe