Definition - Cohens Kappa zur Überprüfung der Inter-Annotator-Übereinstimmung

• Involvierte Definitionen:
  • Kontingenztafel
• Veranstaltung: IR
• Referenz: @wagenpfeil2024 (KE4, p. 8 f.)

⠀

Definition: Cohens Kappa zur Überprüfung der Inter-Annotator-Übereinstimmung

Als Cohens Kappa bezeichnen wir ein statistisches Maß für die Inter-Annotator-Übereinstimmung bei der Erstellung von Test-Datensätzen.

Das Maß ergibt sich durch

wobei

• der gemessene Übereinstimmungswert der beiden Annotatoren und
• die zufällige erwartete Übereinstimmung ist.

Ist die Anzahl der Annotatoren, die Anzahl der möglichen Kategorien (bei Relevant, Nicht-Relevant ist ) und eine Kontingenztafel, so erhalten wir:

und

Typischerweise wird ein als gut bewertet, als akzeptable Übereinstimmung.

Anmerkung

Mehr als 2 Annotatoren (Fleiss' Kappa)

Die Ausweitung von Cohens Kappa auf mehr als zwei Annotatoren bezeichnen wir als Fleiss’ Kappa.

Beispiel: Cohens Kappa

Sei folgenden Kontingenztabelle gegeben

	Ja (E2)	Nein (E2)	Total (E2)
Ja (E1)	300	20	320
Nein (E1)	10	70	80
Total (E1)	310	90	400

Dann erhalten wir:

und damit