Theorem - Gradientenabstiegsverfahren konvergiert für L-glatte und konvexe Funktionen

• Bewiesen durch:
  • Ermittlung des Grenzwertes durch Nullfolge
• Involvierte Definitionen:
  • Gradientenabstiegsverfahren
  • L-glatt
  • Konvexe Funktion
  • Konvergenz einer Folge
  • Totale Differenzierbarkeit
  • Globales Minimum
  • Euklidische Norm
  • Nullfolge
  • siehe auch Gradientenabstiegsverfahren konvergiert für L-glatte und stark-konvexe Funktionen linear
• Veranstaltung: MatheDS
• Referenz: @riedel2023

⠀

Theorem: Gradientenabstiegsverfahren konvergiert für -glatte und konvexe Funktionen

Sei zweimal total differenzierbar.
Sei außerdem -glatt und konvex.
Sei ein globales Minimum von

Sei die durch das Gradientenabstiegsverfahren definierte Folge mit

• beliebigem Startpunkt und
• Schrittweite .

Dann gilt für alle :

Insbesondere gilt damit mit Konvergenzordnung .

Anmerkung

Tipp

Die Konvergenz folgt, da

eine Nullfolge ist.