Start eines Deep-Learning-Projekts in der Fertigung – Teil 4: Werksabnahmeprüfung

blaues Gehirn mit Netzwerkverbindungen über angekreuzten Kästchen-groß

In der letzten Phase des Starts eines Deep-Learning-Projekts in einer Fertigungsumgebung muss das Team — nachdem das System in Testumgebungen gut abgeschnitten hat — Werksabnahmeprüfungen (Factory Acceptance Testing, FAT) durchführen.

In der FAT-Phase klassifizieren das Vision-System und der menschliche Prüfer die Teile weiterhin als gut oder schlecht, und ein Experte überprüft alle Mehrdeutigkeiten und labelt die Teile richtig. Alle Statistiken werden dann nachverfolgt, um die Leistung von Mensch und Vision-System zu ermitteln.

Statistische und Wiederholbarkeitsprüfungen 

Sobald ein Deep-Learning-System den Weg in das Fabriknetzwerk zum Abnahmetest gefunden hat, sollte das Team statistische Tests durchführen, bei denen Tausende von Datenpunkte über einen langen Zeitraum gesammelt werden, um das gesamte Spektrum der Fehlerarten und -häufigkeit zu erfassen. Dieser Ansatz kann mit einer manuellen Prüfungsvalidierung kombiniert werden, um einen genauen ROI für das Projekt zu berechnen. In der Praxis bedeutet dies, das Deep-Learning-System parallel zur manuellen Prüfung laufen zu lassen. Nach einem Monat werden die Bilder gesammelt und die Ergebnisse verglichen. Etwaige Mehrdeutigkeiten oder Unterschiede können dann an den beauftragten Experten weitergeleitet werden, der die korrekte Bestimmung vornehmen kann, um genaue statistische Daten zu erstellen. 

Mit dieser Prüfmethode kann das Team eine End-to-End-Validierung mehrstufiger Prüfungen, zusammengesetzter Prüfungen von Teile- und Fehlertypen, Kostenmessungen und genaue ROI-Berechnungen durchführen. Der einzige Nachteil ist, dass statistische Tests einen großen und repräsentativen Datensatz erfordern, der nicht immer sofort verfügbar ist. Darüber hinaus können Änderungen an der Bildentstehung, dem Erscheinungsbild des Produkts oder dem Labeling der Grundwahrheit, die über Wochen oder Monate gesammelten Daten ungültig machen. Dies sollte unbedingt beachtet werden.

Screenshots zeigen die Verteilung der Pass-/Fail-Messwerte der Deep-Learning-Anwendung

Stichprobenergebnisse aus statistischen Prüfungen

Letztendlich sind Wiederholbarkeitsprüfungen nicht repräsentativ für die tatsächliche Fehlerverteilung oder das tatsächliche Auftreten von Fehlern. Dies hindert Unternehmen daran, genaue Schätzungen über Overkill, Underkill und ROI zu erhalten. Denken Sie daran, wenn Sie gezwungen sind Wiederholbarkeitsprüfungen anzuwenden.

Hinzufügen einer Prüfstufe 

Eine weitere gängige Methode, die in der FAT-Phase eingesetzt wird, ist die zweistufige Prüfung. Hier führt ein Deep-Learning-System die erste Prüfung durch. Etwaige Unsicherheiten werden an einen menschlichen Prüfer zur Nachprüfung weitergeleitet. Dies trägt dazu bei, falsch positive und falsch negative Ergebnisse zu verringern. Die Ergebnisse können zudem den Trainingsprozess für das Deep Learning verbessern. 

Ein zweistufiger Ansatz ermöglicht es Unternehmen, Underkill und Overkill zu reduzieren, wenn Teile, die in die mehrdeutige Kategorie fallen, überarbeitet werden können. Darüber hinaus trägt diese Methode dazu bei, den Ausschuss zu reduzieren, indem sie die Produktion zusätzlicher fehlerhafter Teile einschränkt und gleichzeitig das Vertrauen in das Gesamtsystem erhöht. Das spart Arbeitskosten und ermöglicht eine kontinuierliche Verbesserung, indem schwierige Teilebilder identifiziert werden, die dem Trainingssatz hinzugefügt werden können.

Beispielhafte Fehlerverteilung aus einer zweistufigen Prüfung, die zur Validierung einer Deep-Learning-Anwendung verwendet wird

Bei der zweistufigen Prüfung werden Teile, die in der “Grauzone” oder in der Zwischenphase bewertet wurden, zur weiteren Analyse an menschliche Prüfer weitergeleitet.

Kontinuierliche Verbesserung

Auch nach dem Erreichen positiver FAT-Ergebnisse muss das Deep-Learning-Team das System kontinuierlich verbessern, indem es Daten sammelt und dem Trainingssatz hinzufügt. Diese Daten umfassen Bilder von fehlerfreien, fehlerhaften und grenzwertigen Teilen sowie neuen Teile-Variationen und Unterschiede zwischen dem Vision-System und dem menschlichen Prüfer. Ein Teammitglied kann diese Bilder manuell auswählen und dem Trainingssatz hinzufügen, um das neue Modell zu validieren. Auf diese Weise sichert sich ein Team den Erfolg, da sich das System im Laufe der Zeit leichter an Veränderungen anpassen kann, z. B. an Veränderungen bei der Beleuchtung, der Handhabung von Teilen und neuer Komponenten. Immer dann, wenn neue Bilder mit seltenen Fehlern zur Verfügung stehen, sollte das Team diese Bilder in das System aufnehmen, um es weiter zu verfeinern.

Wenn ein Fertigungsunternehmen alle Projektphasen — einschließlich anfänglicher Planung, Datenerfassung und Ground Truth, Optimierung und Werksabnahmeprüfung — durchführt, können Deep-Learning-Systeme einen enormen Mehrwert bieten. Das ist aber noch nicht alles. Das Team muss weiterhin Daten sammeln und das Modell laufend verbessern. Die Endergebnisse werden mit der Zeit immer besser.

 

Weitere Posts auf

ERHALTEN SIE ZUGANG ZU SUPPORT & TRAINING FÜR PRODUKTE & MEHR

Werden Sie Teil von MyCognex