Proposition - Strategien für die Interpretation von Click-Rate-Daten

• Involvierte Definitionen:
  • Click-Rate-Daten
  • Query (Information Retrieval)
• Veranstaltung: IR
• Referenz:
  • @wagenpfeil2024 (KE3, p. 19 ff.)
  • Accurately Interpreting Clickthrough Data as Implicit Feedback
  • Query Chains: Learning to Rank from Implicit Feedback

⠀

Proposition: Strategien für die Interpretation von Click-Rate-Daten

Seien Dokument-Ergebnis-Links gegeben, die dem Nutzer in aufsteigender Reihenfolge angezeigt werden.

Für die Interpretation von Click-Rate-Daten können wir uns (unter anderem) an den folgenden (untereinander kombinierbaren) Strategien orientieren:

• Click > Skip Above
• Last Click > Skip Above
• Click > Earlier Click
• Last Click > Skip Previous
• Click > No-Click Next
• Click First > No-Click Second
• Click > Skip Earlier Query
• Click > Top Two Earlier Query

Für eine Bewertung der jeweiligen Strategien siehe:

• Accurately Interpreting Clickthrough Data as Implicit Feedback und
• Query Chains: Learning to Rank from Implicit Feedback.

Strategie: Click > Skip Above

Geht davon aus, dass angeklickte Dokumente relevanter sind, als nicht-angeklickte Dokumente, die im Suchergebnis über dem angeklickten Dokument liegen.

Beispiel: Klickt der Nutzer in dieser Reihenfolge und , können wir davon ausgehen, dass:

• ,
• ,
• ,

Strategie: Last Click > Skip Above

Wie Click > Skip Above, es wird jedoch nur das letzte angeklickte Dokument beachtet.

Beispiel: Klickt der Nutzer in dieser Reihenfolge und , können wir davon ausgehen, dass:

• ,
• ,

Strategie: Click > Earlier Click

Es wird angenommen, dass später getroffene Klicks auf Basis von mehr Wissen getroffen wurden als frühere Klicks.

Beispiel: Klickt der Nutzer in dieser Reihenfolge und , können wir davon ausgehen, dass:

• ,
• ,
• ,

Strategie: Last Click > Skip Previous

Wie Click > Skip Above, bloß, dass lediglich der zuletzt übersprungene Link weniger relevant ist.

Beispiel: Klickt der Nutzer in dieser Reihenfolge und , können wir davon ausgehen, dass:

Strategie: Click > No-Click Next

Geht davon aus, dass angeklickte Dokumente relevanter sind, als das direkt nachfolgende Dokument, wenn es nicht angeklickt wurde.

Beispiel: Klickt der Nutzer in dieser Reihenfolge und , können wir davon ausgehen, dass:

Strategie: Click First > No-Click Second

Wie Click > No-Click Next, aber nur bezogen auf die ersten beiden Einträge des Suchergebnisses.

Beispiel: Klickt der Nutzer lediglich auf , können wir davon ausgehen, dass:

Strategie: Click > Skip Earlier Query

Geht davon aus, dass ein Ergebnis, das in einer weiteren Query angeklickt wurde, relevanter ist, als Dokumente, die in einer vorangegangenen Query nicht geklickt wurden.

Um nicht eine große Menge von Dokumenten abzuwerten, wird wie folgt vorgegangen: Wurde in der ersten Query als letztes auf geklickt, so ist als das letzte Dokument, das als weniger relevant bewertet wird. Wurden in der vorigen Query gar keine Dokumente geklickt, werden nur die ersten beiden Ergebnisse, bewertet.

Beispiel: Klickt der Nutzer lediglich auf in einer ersten und in einer zweiten Query, können wir davon ausgehen, dass:

Strategie: Click > Top Two Earlier Query

Wie Click > Skip Earlier Query, jedoch nur für den Fall, dass der Nutzer in der vorigen Query keine Dokumente geklickt hat.

Beispiel: Klickt der Nutzer in einer ersten Query keine Dokumente und in einer zweiten Query, können wir davon ausgehen, dass: