Proposition - Teilweise Äquivalenz von Neuron und SVM

• Involvierte Definitionen:
  • SVM
  • Neuron
  • Kerneltrick
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.1)

⠀

Proposition: Teilweise Äquivalenz von Neuron und SVM

Sei die Signum-Funktion.

Dann gilt, dass SVM und Neuron (jedenfalls teilweise) äquivalent sind:

wobei

• ein SVM-Klassifikator und
• ein Neuron mit sei.

Für eine Unterscheidung zwischen Hard-Margin/Soft-Margin SVM können wir die jeweiligen primalen Optimierungsprobleme als Fehlerfunktionen nutzen.

Die Umsetzung des Kerneltricks ist unmittelbar nur durch Vorverarbeitung möglich, wodurch wir jedoch die algorithmischen Vorteile des Kerneltricks verlieren.

Beweis

Die beiden Ausdrücke

und

sind identisch, wenn wir und setzen.