Definition: ResNet

Die Magie des ResNets liegt eigentlich nur in den Residual-Blöcken (bzw. Bottleneck Residual Blöcken, für ResNets mit mehr als 50 Layern).

Bei den gestrichelten Linien handelt es sich um Downsampling-Residual Blöcke, bei den durchgezogenen Linien um Identity-Residual Blöcke.

Anmerkung

Identitäts vs. Conv-Blöcke

Residual Blöcke kommen in zwei Geschmacksrichtungen als Identity Block und als Downsampling Block.

Während die Identity Blöcke tatsächlich nur eine Addition durchführen, werden für die Downsampling Blöcke Convolutions mit einem Stride durchgeführt.