Definition - Bottleneck Residual Block

• Konstrukte:
  • Transformer
• Generalisierungen:
  • Residual Block
  • Low-Rank Matrix
• Involvierte Definitionen:
  • Conv-Layer
  • 1x1-Conv-Layer
• Veranstaltung: EML
• Referenz: @he2015

⠀

Definition: Bottleneck Residual Block

Der Bottleneck Residual Block ist eine Variante des Residual Blocks, bei dem -Conv-Layer genutzt werden, um die Dimensionalität kurzfristig zu verringern und anschließend wieder anzuheben.

Die folgende Illustration zeigt es eigentlich ganz schön:

• Der Input in den Bottleneck-Block hat Channels.
• Die erste -Convolution wird genutzt, um auf Channels herunterzugehen.
• Anschließend wird das eigentliche Herzstück, die -Convolution in Channels durchgeführt,
• Durch die letzte -Convolution wird die Anzahl der Channels wird auf angehoben.

Nach Durchführung der Conv-Layer wird das Ergebnis des vorherigen Layers hinzuaddiert, wie bereits in der Notiz zum Residual Block beschrieben.