Willkommen
Gradientenabstiegsverfahren
Einführung
Das Gradientenabstiegsverfahren ist ein mathematisches Verfahren, welches u.a. dazu dient, die Parameter - in diesem Zusammenhang häufig Gewichte genannt - für ein Vorhersagemodell zu bestimmen. Beispielsweise könnte man zur Vorhersage des Studienerfolges mit Hilfe verschiedener Variablen (z.B. IQ, Motivation, Vorkenntnisse usw.) und dem Gradientenabstiegsverfahren die Einflussstärken (Gewichte) der einzelnen Variablen ermitteln. Dabei wären auch komplexe (sowie nonlineare) Zusammenhänge denkbar (z.B. könnte eine hohe Motivation und hinreichende Vorkenntnisse einen geringeren IQ ausgleichen).
Beim Gradientenverfahren vergleicht man "gewünschte" (z.B. der tatsächliche Studienerfolg) und berechnete (vorhergesagte) Werte miteinander und nimmt mit Hilfe dieses Differenz-Terms sukzessive Gewichtsveränderungen vor. Dabei könnte man sich die Frage stellen, warum die Gewichte nicht in einem einzigen Schritt so angepasst werden, dass die gewünschten mit den berechneten Werten für alle zu lernenden Daten übereinstimmen oder diesen zumindest bestmöglich entsprechen?
Der Grund liegt darin, dass oftmals keine mathematische Vorschrift bzw. Formel existiert, mit der man die korrekten Gewichte in nur einem Berechnungsschritt ermitteln kann.
Zur Ermittlung der gesuchten Gewichte bestünde eine weitere Möglichkeit darin, zu allen möglichen Kombinationen von Gewichten einen Gesamtfehlerterm (F) zu bestimmen. Häufig wird dieser Gesamtfehlerterm als Summe der quadrierten Differenzen zwischen den tatsächlichen und den vorhergesagten Werten definiert.
Die Gewichtskombination (w) mit dem kleinsten Gesamtfehlerterm (Fmin) wäre die optimale Lösung (wmin), ein absolutes Minimum hinsichtlich des Fehlers.
- Abbildung 1: Zweidimensionales Liniendiagramm mit Gradientenabstiegskurve. Auf der Abszisse (x-Achse) ist das Gewicht (W) abgetragen, auf der Ordinate (y-Achse) der Fehlerterm (F). In rot: das Gewicht (w) mit der optimalen Lösung (absolutes Minimum hinsichtlich des Fehlers).
Was im zweidimensionalen Raum (siehe Abbildung 1), sprich mit nur einem einzigen Gewicht (!) noch vergleichsweise einfach wäre, gestaltet sich im n-dimensionalen Raum (d.h. bei n-1 Gewichten) ungleich schwerer. Hier würde der Fehlerterm keiner Kurve, sondern einer n-dimensionalen "Gebirgslandschaft" entsprechen. Der Rechenaufwand zur Bestimmung der gesamten Landschaft, um ein absolutes Minimum innerhalb dieses Raumes zu finden, wäre viel zu groß.
