Proposition - Gradient Descent vs Stochastic Gradient Descent vs Mini-Batch Gradient Descent

• Involvierte Definitionen:
  • Gradientenabstiegsverfahren
  • Stochastisches Gradientenabstiegsverfahren
  • Mini-Batch Gradientenabstiegsverfahren
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.5)

⠀

Proposition: Gradient Descent vs Stochastic Gradient Descent vs Mini-Batch Gradient Descent

Illustrativ führen wir beim Gradient Descent sehr genaue, aber dafür auch sehr kleine Schritte durch, während wir beim Stochastic Gradient Descent ungenauere Schritte durchführen - dafür aber sehr viele. Mini-Batch Gradient Descent ist ein Mix aus beiden Ansätzen: