Start eines Deep-Learning-Projekts in der Fertigung – Teil 2: Sammeln von Daten und Ermittlung der Grundwahrheit

blaues Gehirn mit Netzwerkverbindungen auf Hintergrund mit rotem Farbverlauf-groß

Nachdem ein Unternehmen ein Deep-Learning-Projektteam gebildet, Ziele festgelegt und ein Projekt ausgewählt hat, das es vorantreiben möchte, besteht der nächste Schritt in der Datenerfassung und der Festlegung der Ground Truth.

Absolute und relative Daten 

In dieser Phase müssen zwei Arten von Daten erfasst werden: Bilddaten (absolut) und Prozessdaten (relativ). Die vom Deep-Learning-Team gesammelten Bilddaten helfen bei der Optimierung und dem Training des neuronalen Netzwerks für Fehler und Pass/Fail-Bestimmungen. Zu einer zuverlässigen Bildaufnahme sind — unter anderem — die Auswahl einer Kamera mit angemessener Auflösung sowie die Auswahl und Konfiguration einer geeigneten Beleuchtungseinrichtung erforderlich.
Mit Hilfe von Prozessdaten kann ein Unternehmen, das ein auf Deep Learning basierendes System entwickelt, eine erweiterte Optimierung durchführen. Dazu können Daten über Stückkosten von Escapes im Vergleich zu Ausschuss, zur Häufigkeit von Pass vs. Fail und zur Häufigkeit verschiedener Fehlertypen gehören. Das Deep-Learning-Team muss die Leistung des Deep-Learning-Systems im Vergleich zur Grundwahrheit sowie die Leistung einer bestehenden Lösung, z. B. einer manuellen Prüfung, im Vergleich zur Grundwahrheit untersuchen. 

Aufrechterhaltung eines kontinuierlichen Prozesses

Alle Phasen eines Deep-Learning-Projekts müssen in der Regel fortlaufend durchgeführt werden. Diese Arbeit umfasst das Erfassen von Bild- und Prozessdaten, das Training des Modells und die laufende Aktualisierung des Daten-Labeling.

Unternehmen brauchen Mitarbeiter, die Fehler in Bildern konsistent und zuverlässig kennzeichnen können, damit das Deep-Learning-Modell mit Qualitätsdaten trainiert wird. Durch einen kontinuierlichen Trainingsprozess können die Teams die Erfassung und Protokollierung genauer Daten rationalisieren.

Um statistische Anomalien zu vermeiden, müssen die Teams Produktvariationen, Komponentenwechsel, Gerätedrift und Werkzeugverschleiß erfassen und nachverfolgen. In diesem Zusammenhang müssen das gesamte Bild-Labeling gleichbleibend und unvoreingenommen durchgeführt werden, mit unabhängigen Messungen und klaren Definitionen. Wenn sich Produktspezifikationen ändern, neue Produkte hinzukommen oder veraltete Produkte entfernt werden, müssen die Teams das Bild-Labeling aktualisieren. Die Teams müssen auch ein Verfahren zur kontinuierlichen Erfassung von Informationen im Laufe der Zeit einrichten, damit das Team beim Auftreten eines Problems reagieren und das Problem beheben kann.

Ein Deep-Learning-Team sollte es vermeiden, beim Trainieren Fake-Fehler zu verwenden. Fake-Fehler wie Markierungen, Risse oder Kratzer auf einem Teil sind u. U. nicht repräsentativ für echte Fehler sein und können den Trainingsprozess negativ beeinflussen. Wenn ein Teammitglied z. B. manuell Kratzer in der Mitte eines zu prüfenden Teils anbringt, beginnt das System, nur in diesem Bereich nach Fehlern zu suchen.

Die Ground Truth ermitteln

Den Teams stehen mehrere Möglichkeiten zur Verfügung, um die Grundwahrheit zu erhalten, darunter auch die Verwendung der Ergebnisse der manuellen Werksprüfung. Bei dieser Methode sind die Daten leicht verfügbar und werden akzeptiert. Dies kann die einzige Option für Teile sein, die für die Inspektion eine besondere Handhabung, wie z. B. das Kippen, erfordern. Andererseits können die Ergebnisse im Laufe der Zeit oder von Prüfer zu Prüfer variieren. Einige Beteiligte haben zudem möglicherweise ein persönliches Interesse an dem derzeit geltenden System. Diese Methode sollte nur als Ausgangspunkt dienen, da die Unternehmen in die Datenerfassung und -pflege investieren müssen, um eine genauere Basis zu festzulegen.

Knapp-Tests können Unternehmen dabei helfen, menschliche Qualitätsprüfer zu bewerten, indem sie mehrere bekannte Teile, — gute und schlechte —, mehrmals derselben Gruppe von Prüfern präsentieren. Bei einem Knapp-Test kontrollieren einzelne Prüfer mehrmals Kontrollteile, die mit Produktionsteilen vermischt sind. Die Ergebnisse der einzelnen Personen werden zusammengetragen, um ein einheitliches Pass/Fail-Ergebnis zu erhalten. Mit dieser Methode können die Unternehmen zwar feststellen, welche Fehlerarten durchgängig erfasst werden und welche Prüfer die besten Leistungen erbringen, doch ist sie auf kleine Datensätze beschränkt. Sie kann auch zu nicht repräsentativen Ergebnissen führen, da das Auftreten von Fehlern unrealistisch — oder künstlich erzeugt — sein kann und die Fehlerverteilung immer unrealistisch ist. Die Unternehmen sollten die Prüfer im Hinblick auf Genauigkeit und Wiederholbarkeit bewerten und erste gelabelte Datensätze für das Training neuronaler Netze anhand von Bildern mit realistischen Fehlern erstellen.

Methode Vorteile Einschränkungen Empfehlungen
Manuelle Prüfung
  • Daten sind vorhanden und werden akzeptiert
  • Kann die einzige Option sein, wenn Teile für die Prüfung eine besondere Handhabung (Kippen usw.) erfordern.
  • Uneinheitlichkeit – im Laufe der Zeit und zwischen den Prüfern
  • Viele Beteiligte haben ein persönliches Interesse an dem derzeitigen System
  •  Verwenden Sie die Ergebnisse der manuellen Prüfung als Ausgangspunkt
  • Investieren Sie in die Datenerhebung & und -pflege zur Festlegung einer genaueren Basis
Knapp-Test
  • Testet das Verhalten in einer realen Fertigungsumgebung
  • Belastbarer als das Urteil eines einzelnen Prüfers
  • Das Testen ist in einigen Branchen unpraktisch
  • Auf kleine Datensätze beschränkt
  • Ergebnisse oft nicht repräsentativ
  •  Bewerten Sie einzelne Prüfer hinsichtlich Genauigkeit & Wiederholbarkeit
  • Erstellen Sie einen ersten gekennzeichneten Datensatz für das Training neuronaler Netzwerke
  • Validierung für die Produktion

Schließlich muss ein Unternehmen, um die Grundwahrheit zu erhalten, über mindestens einen vertrauenswürdigen Experten verfügen, der die Qualitätsstandards des Unternehmens genau kennt. Zunächst erfassen die Teams Bilder und Prüfergebnisse während der Produktion, sowohl bei der manuellen als auch bei der automatischen Prüfung. Der Experte bestätigt dann, ob anhand des Bildes eine Pass/Fail-Bestimmung zuverlässig getroffen werden kann, und hilft dabei, einen Bildqualitätsstandard für das Labeling festzulegen, um sicherzustellen, dass nur genaue Daten in das Deep-Learning-Modell eingespeist werden.

Diagramm zum Vergleich von Deep-Learning-Software mit menschlichen Prüfern bei der Prüfung von Schweißpunkten

In diesem Beispiel wird ein vertrauenswürdiger Experte für die Grundwahrheit bei einer Prüfanwendung für Schweißpunkte eingesetzt.

Die Ergebnisse der manuellen und automatisierten Sichtprüfung können dann verglichen werden. Wenn die Ergebnisse übereinstimmen, kann das Team davon ausgehen, dass die Entscheidungen richtig sind, und die Bilder können dem Datensatz hinzugefügt werden. Weichen die Ergebnisse voneinander ab, prüft der Experte sie und entscheidet, was zu tun ist. Der Experte hilft bei der Erstellung einer zuverlässigen Datenbank mit Bildern, die auf realistischen Proben unter realistischen Bedingungen beruhen. Darüber hinaus hilft der Experte bei der Erstellung zuverlässiger Leistungsstatistiken, einschließlich der Fehlerverteilung sowie manueller und automatisierter Daten zur Prüfleistung, und verbessert gleichzeitig die Prüfprozesse. Der Experte liefert auch Daten, die für zukünftige Automatisierungsprojekte wiederverwendet werden können. Dabei ist zu beachten, dass diese Methode zu schlechten Ergebnissen führt, wenn Teile manipuliert oder gehandhabt werden müssen, um Fehler zu finden. Ein weiterer Nachteil dieser Methode ist, dass sie sich auf einen einzelnen Entscheidungsträger stützt.

In Teil 3 werden wir uns mit der Optimierungsphase befassen.

Weitere Posts auf

ERHALTEN SIE ZUGANG ZU SUPPORT & TRAINING FÜR PRODUKTE & MEHR

Werden Sie Teil von MyCognex