Die jüngsten Entwicklungen im Bereich des maschinellen Lernens haben zu enormen Verbesserungen in der autonomen Überwachung von Fertigungsprozessen geführt. Je komplexer und leistungsfähiger diese autonomen Modelle jedoch werden, desto weniger transparent und erklärbar sind sie im Allgemeinen allerdings auch. Daher stellt die Überprüfung beziehungsweise Wartung von sich im Einsatz befindlichen Lernsystemen eine besondere Herausforderung dar.

Beispielsweise wird eine künstliche Intelligenz zur visuellen Werkstückkontrolle, welche auf einen bestimmten Datensatz von Materialoberflächendefekten trainiert wurde, im anschließenden Einsatz in der Produktion nicht zwangsläufig auch neuartige, also sich nicht bereits im Trainingsdatensatz befindliche Typen von Oberflächenfehlern erkennen. Dies wiederum kann zu nachteiligen Fehlprognosen führen, z. B. wenn diese neuartigen Defekttypen von dem vortrainierten System als nicht defekt eingestuft werden.

Zu diesem Zweck ist es wünschenswert, die Leistung eines sich im Einsatz befindlichen Lernsystems in Echtzeit zu verfolgen, um den Benutzer über das Auftreten potentiell unerkannter Fehlertypen und über die Notwendigkeit eines manuellen Eingriffs im Hinblick auf ein erneutes Training des Lernsystems mit erweitertem Datensatz zu informieren.

Um diese Art der Echtzeit-Modellüberwachung geht es in unserem gerade auf arXiv veröffentlichten Forschungsprojekt: „Who supervises the supervisor? Model monitoring in production using deep feature embeddings with applications to workpiece inspection.”

Wer mehr erfahren möchte – hier geht’s zum Paper:

https://arxiv.org/abs/2201.06599