Definition - CRISP-ML(Q)

• Generalisierungen:
  • CRISP-DM
• Involvierte Definitionen:
  • CRISP-DM
  • Data Unit Test
  • Concept Drift
• Veranstaltung: EDS
• Referenz: @beecks2024 (LE3, ML-basierte Vorgehensweise)

⠀

Definition: CRISP-ML(Q)

Als Cross-Industry Standard Process for Machine Learning applications with Quality assurance methodology (kurz CRISP-ML(Q)) bezeichnen wir eine Erweiterung des CRISP-DM Vorgehensmodells.

Es erweitert den CRISP-DM-Prozess durch:

• die Phase Monitoring und Maintenance:
  • Modellqualität sinkt im Zeitverlauf durch
    • Data Drift
    • Verschleiß von Sensoren oder Maschinenteilen
    • Änderung der Deploymentumgebung durch Systemupdates
  • Kontinuierliche Überwachung der Modellqualität durch Erfolgskriterien/Metriken.
  • Kontinuierliche Überwachung der Datenqualität, bspw. durch Data Unit Tests
  • Bei Abweichungen: Retraining oder Erstellung eines neuen Modells
• den Quality Assurance-Task:
  • Nach jeder Phase werden Projektrisiken identifiziert
  • für jedes Risiko wird entschieden, ob es tragbar ist oder mitigiert werden muss.