Gradientenabstiegsverfahren

Lösungen zu den Problemen

Es stehen eine Vielzahl Lösungsmöglichkeiten zu den Problemen des Gradientenabstiegsverfahrens zur Verfügung. Unter anderem sind folgende Methoden zu nennen:

1. Veränderung der Initialisierung der Gewichte: Zuerst versucht man die Initialisierung der Gewichte zu verändern, um den Lernerfolg zu verbessern. Unter anderem hat der Startpunkt des Gradientenabstiegsverfahrens einen zentralen Einfluss darauf, welche Werte die Gewichte im Verlauf des Verfahrens annehmen und ob sich schlussendlich ein lokales oder globales Minimum findet. Die Veränderung der Initialisierung der Gewichte wird in der später präsentierten Visualisierung allerdings nicht dargestellt.
2. Veränderung der Lernrate: Neben der Neu-Initialisierung kann man versuchen den Lernparameter zu verändern. In diesem Zusammenhang ist besonders wichtig, dass es keine (!!!) optimale Lernrate für sämtliche Datensätze gibt. Bezüglich der Veränderung der Lernrate lassen sich verschiedene Möglichkeiten voneinander unterscheiden:
   • Lernrate erhöhen: Eine höhere Lernrate bewirkt, dass die Sprünge in der Landschaft größer werden.
   • Lernrate reduzieren: Eine niedrigere Lernrate führt dazu, dass kleinere Schritte beim Gradientenabstiegsverfahren vorgenommen werden.
3. Momentum-Term hinzufügen: Der Einsatz eines Momentum- oder Trägheitsterms kann das Verfahren je nach vorangegangener Gewichtsänderung zum Teil beschleunigen.
4. Abbruchkriterium verändern: Eine weitere Möglichkeit beim Gradientenabstiegsverfahren besteht darin, dass Abbruchkriterium zu modifizieren. Auch hier gibt es keinen optimalen Wert. Bei einem niedrigen Wert wird das Verfahren spät, bei einem hohen Wert bereits früh abgebrochen.