
Who supervises the supervisor? Data drift detection in production using
deep feature embeddings with applications to workpiece inspection.
Beispielsweise wird eine künstliche Intelligenz zur visuellen Werkstückkontrolle, welche auf einen bestimmten Datensatz von Materialoberflächendefekten trainiert wurde, im anschließenden Einsatz in der Produktion nicht zwangsläufig auch neuartige, also sich nicht bereits im Trainingsdatensatz befindliche Typen von Oberflächenfehlern erkennen. Dies wiederum kann zu nachteiligen Fehlprognosen führen, z. B. wenn diese neuartigen Defekttypen von dem vortrainierten System als nicht defekt eingestuft werden.
Zu diesem Zweck ist es wünschenswert, die Leistung eines sich im Einsatz befindlichen Lernsystems in Echtzeit zu verfolgen, um den Benutzer über das Auftreten potentiell unerkannter Fehlertypen und über die Notwendigkeit eines manuellen Eingriffs im Hinblick auf ein erneutes Training des Lernsystems mit erweitertem Datensatz zu informieren.
Um diese Art der Echtzeit-Modellüberwachung geht es in unserem gerade auf arXiv veröffentlichten Forschungsprojekt: „Who supervises the supervisor? Model monitoring in production using deep feature embeddings with applications to workpiece inspection.”
Wer mehr erfahren möchte – hier geht’s zum Paper: