Definition - Mini-Batch Gradientenabstiegsverfahren

• Typen:
  • Stochastic Gradient Descent
• Generalisierungen:
  • Gradient Descent
• Eigenschaften:
  • Gradient Descent vs Stochastic Gradient Descent vs Mini-Batch Gradient Descent
• Involvierte Definitionen:
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.5)

⠀

Definition: Mini-Batch Gradientenabstiegsverfahren

Sei eine partiell differenzierbare Funktion mit Teilfunktionen , sodass .

Als Mini-Batch Gradientenabstiegsverfahren definieren wir die Iteration in Richtung des jeweils steilsten Abstiegs einer zufällig gewählten Teilmenge der Teilfunktion von , also:

wobei

• der Startpunkt fest gewählt ist,
• eine Index-Teilmenge der zu wählenden Teilfunktion sei (wobei i.d.R. ),
• der Parameter die Schrittweite des Verfahrens beschreibt.

Anmerkung

Mini-Batch Gradient Descent in neuronalen Netzen?

In neuronalen Netzen ist die Summe eine Summe über die Trainingsbeispiele des Datensatzes.

Das hat zusätzlich den Vorteil, dass die Berechnung der Gradienten mithilfe einer GPU parallelisiert werden kann.