Definition - Gradient

• Konstrukte:
  • Totale Ableitung des Gradienten (Hessematrix)
  • L-glatt
  • Gradientenabstiegsverfahren
  • Newton-Verfahren für Minimierungsprobleme
• Eigenschaften:
  • Gradient weist in die Richtung des stärksten Wachstums
  • Gradient ist 0 im Extremum
  • Konvexe Funktion hat ihr globales Minimum an der Stelle, an der der Gradient null ist
  • Untere Schranke für Gradienten durch globales Minimum
• Hinreichende Bedingungen:
  • Backpropagation
  • Backpropagation Through Time
• Involvierte Definitionen:
  • Funktion
  • Offene Menge
  • Partielle Ableitung
  • Partielle Differenzierbarkeit
  • Totale Ableitung
• Veranstaltung: MatheDS
• Referenz: @riedel2023

⠀

Definition: Gradient

Sei eine offene Menge.
Sei eine partiell differenzierbare Funktion.

Als Gradient von an der Stelle bezeichnen wir

Im Allgemeinen gilt

Definition: Gradient nach einer Variablen (x)

Sei eine offene Menge.
Sei eine partiell differenzierbare Funktion.

Sei ein Element aus , das sich in zwei Teilelemente wie folgt aufsplitten lasse:

Sei .

Als Gradient von nach an der Stelle bezeichnen wir

Im Allgemeinen gilt

Definition: Gradient nach einer Variablen (y)

Sei eine offene Menge.
Sei eine partiell differenzierbare Funktion.

Sei ein Element aus , das sich in zwei Teilelemente wie folgt aufsplitten lasse:

Sei .

Als Gradient von nach an der Stelle bezeichnen wir

Im Allgemeinen gilt