Proposition - Konvergenz des stochastischen Gradientenabstiegsverfahren für konvexe Funktionen

• Involvierte Definitionen:
  • Stochastisches Gradientenabstiegsverfahren
  • Konvexe Funktion
  • L-glatt
  • Totale Differenzierbarkeit
  • Minimalstelle
  • Euklidische Norm
  • siehe auch Konvergenz des stochastischen Gradientenabstiegsverfahren für stark-konvexe Funktionen
• Veranstaltung: MatheDS
• Referenz: @riedel2023 (Satz 3.3.24)

⠀

Proposition: Konvergenz des stochastischen Gradientenabstiegsverfahren für konvexe Funktionen

Sei eine partiell differenzierbare Funktion mit Teilfunktionen , sodass .
Die Teilfunktionen seien konvex, total differenzierbar und -glatt.
Sei ein Parameter.
Sei die Schrittweite in der -ten Iteration mit .
Sei das Supremum des durchschnittlichen Gradienten über alle Minimalstellen wie folgt:

Sei die durch das stochastische Gradientenabstiegsverfahren definierte Folge mit beliebigem Startpunkt .

Dann gilt für alle :

wobei ein gemittelter Wert der sei mit