Definition: Signifikanzniveau eines randomisierten Tests

Sei ein statistisches Modell.
Sei die Nullhypothese.
Sei ein randomisierter Test.
Sei eine Stichprobe.

Als Signifikanzniveau (auch Irrtumsniveau oder bloß Niveau) des randomisierten Tests bezeichnen wir , falls

Damit ist die Wahrscheinlichkeit für einen Fehler 1. Art also kleiner-gleich dem Signifikanzniveau des Tests.