Definition - Q-Funktion (Reinforcement Learning)

• Konstrukte:
  • Epsilon-Greedy Q-Learning
• Eigenschaften:
  • Zusammenhang des optimalen Zustandsnutzens und der Q-Funktion
  • Zusammenhang der optimalen Strategie und der Q-Funktion
• Involvierte Definitionen:
  • MDP
  • Optimale Strategie
  • Modellfreies Lernverfahren
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.3.3)

⠀

Definition: Q-Funktion (Reinforcement Learning)

Sei ein Markov-Entscheidungsprozess.

Als Q-Funktion bezeichnen wir im Reinforcement Learning eine Funktion mit

die einem Zustand und einer Aktion den unter der optimalen Strategie erwarteten maximalen Nutzen nach Ausführung der Aktion zuweist.

Insbesondere benötigt die Q-Funktion keine besondere Repräsentation der Belohnungs- und der Transitionswahrscheinlichkeitsfunktion, weshalb wir sie auch als modellfrei bezeichnen.