Definition - Denoising Autoencoder

• Typen:
  • Masked Autoencoder (MAE)
• Generalisierungen:
  • SAE, wenn Masking betrieben wird, statt Hinzufügen einer Gauß-Verteilung
• Involvierte Definitionen:
  • Gaußverteilung
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.4)

⠀

Definition: Denoising Autoencoder

Als Denoising Autoencoder (kurz DAE) bezeichnen wir eine Variante des Autoencoders, die darauf trainiert ist, verrauschte Eingabedaten zu bereinigen und die ursprünglichen, unverrauschten Daten zu rekonstruieren.

Während des Trainings wird den Eingabedaten bewusst Rauschen hinzugefügt. Der Autoencoder wird darauf trainiert, die verrauschten Daten auf eine saubere Version zu mappen.

Dadurch wird der Denoising Autoencoder robust gegenüber Störungen und kann effektiv zur Rauschreduktion und zur Wiederherstellung von beschädigten Daten eingesetzt werden.

Die Fehlerfunktion erhalten wir also durch:

wobei gebildet wird, indem jeder Komponente von bspw. ein kleiner, Gauß-verteilter Term hinzugefügt wird.

Alternativ zum Hinzufügen einer Gauß-Verteilung können auch einige der Werte aus auf gesetzt werden. In diesem Fall handelt es sich bei dem DAE um eine Form des SAE.

Bei und handelt es sich jeweils um Encoder und Decoder.

Anmerkung

Formen

Neben dem verrauschen der Daten, können wir die Daten auch “maskieren”. Das bedeutet, dass bspw. einige der Input-Werte komplett auf gesetzt werden.

Während der Sparse Autoencoder also Sparsity in den Neuronen erzeugt, erzeugt der DAE Sparsity in den Input Daten.