Wie das Deep-Learning-Klassifizierungstool funktioniert

classification deep learning inspections

Die Klassifizierung von Teilen und Komponenten ist bei einer komplexen Montageüberprüfung nützlich, wenn mehrere Artikel für den Einsatz entlang der Produktionslinie geordnet und sortiert werden müssen. Die Klassifizierung ist auch für die In-Line-Prozesskontrolle und eine kontinuierliche Prozessverbesserung wichtig, da sie entscheidende Daten liefert, um Fehler zu erkennen, bevor sie zu festgefahrenen Problemen werden.

Trotz der enormen Fortschritte in der industriellen Bildverarbeitung war zum Erkennen von Objekten oder Bauteilen in unterschiedlicher Form, Größe und Position normalerweise die Flexibilität des menschlichen Auges erforderlich. Sogar die leistungsstärksten computergestützten Inspektionssysteme werden leicht durch geschäftige, stark gemusterte Hintergründe und Bildqualitätsprobleme wie Spiegelblendung verwirrt.

Diese Bedingungen erschweren Bildverarbeitungsalgorithmen die zuverlässige und präzise Lokalisierung eines Objekts oder eines Zielbereichs. Es kann für ein automatisiertes System zeitaufwändig und schwierig, wenn nicht unmöglich sein, irrelevante Merkmale zu ignorieren, um den Zielbereich erfolgreich zu identifizieren.

In diesen Szenarien, wenn eine Anwendung eine automatisierte Präzision erfordert, um komplexe Merkmale und Objekte zu finden, kann es nützlich sein, auf Deep-Learning-basierte Tools umzustellen, die von Bildbeispielen lernen, anstatt programmiert zu werden. Der Einsatz solcher selbstlernenden Algorithmen erschließt neue Möglichkeiten, Teile zu lokalisieren und nach Farbe, Textur, Material, Verpackung oder Fehlertyp in Klassen einzuteilen.

Betrachten wir, wie Deep-Learning-basierte Tools verschiedenen Branchen helfen können.

Deep-Learning-Klassifizierung für die Automobilindustrie

In vielen Anwendungen in der Automobilbranche wird die Identifikation mittels Barcode-Lesen und OCR-Technologie (optische Zeichenerkennung) zum Dekodieren von Barcodes und Seriennummern durchgeführt. In Umgebungen, die das Code-Lesen oder alphanumerische Texte nicht unterstützen, müssen sich Hersteller jedoch auf die visuelle Identifikation stützen. Das kann bei einer Identifikation in unvorhersehbaren Positionen oder mit visuellen Varianten und Abweichungen problematisch sein, wird aber noch komplizierter, wenn Teile nach diesen Kennzeichen gezählt und sortiert oder klassifiziert werden müssen.

Klassifizierung Automobilindustrie

Denken wir an einen Automobilhersteller, der von einem Fahrzeugteilehersteller eine Lieferung Zündkerzen bekommt. Diese Zündkerzen unterscheiden sich in ihrer Farbe und Markierung, da sie für verschiedene Fahrzeugmodelle konzipiert sind. Wenn sie auf Tabletts in unterschiedlichen Farben zur Vormontage in der Produktionslinie ankommen, müssen automatisierte Prüfsysteme sie erkennen, zählen und klassifizieren, um die Daten an die robotergesteuerte Montagephase weiterzugeben. Dazu muss das automatisierte System zwischen den Zündkerzen in verschiedenen Farben unterscheiden, was den Robotern wichtige Montageinformationen liefert. Es muss aber auch die Hintergrundfarben der Tabletts ignorieren, die eine Ablenkung darstellen.

Eine schwierige Klassifizierungsaufgabe wie diese erfordert ein Deep-Learning-basiertes Tool, welches das normale Aussehen der Zündkerzen anhand ihrer Form und Abmessungen verallgemeinern kann und sie anschließend nach ihrer Farbe klassifiziert, ohne durch einzelne Markierungen abgelenkt zu sein. Dazu nutzt ein Deep-Learning-basiertes Bildanalysetool wie Cognex Deep Learning gekennzeichnete Trainingsbilder, um das Aussehen einer Zündkerze zu verallgemeinern, damit es die Zusammenstellung auf dem Tablett zählen kann. Dann kann es sie nach Farbe sortieren und diese Daten zur Montage an den Roboter senden.

Deep-Learning-Klassifizierung für die Elektronikindustrie

Für Hersteller von elektronischer Hardware, die mit extrem engen Toleranzen arbeiten, müssen alle Oberflächenfehler auf ihren Komponenten sorgfältig erkannt und früh im Produktionsprozess katalogisiert werden. Die Metalloberflächen dieser Bauteile erzeugen Spiegeleffekte, die ein Inspektionssystem verwirren können, indem sie das Aussehen des Bauteils für die Kamera scheinbar verändern.

Klassifizierung Elektronikindustrie

Häufige Defekte an Bauteilen, wie Stöße, Kratzer oder Flecken, die bei der Montage auftreten, sind in frühen Produktionsphasen aufgrund der rauen, texturierten und reflektierenden Oberflächen oft schwer zu erkennen. Außerdem sind solche Defekte nur unter bestimmten Beleuchtungsbedingungen sichtbar, die sich oft während lokaler Kontraständerungen durch ungleichmäßige Beleuchtung offenbaren.

Gleichzeitig müssen normale Abweichungen und natürliche, aber unbedeutende Abweichungen auf der Materialoberfläche vom Inspektionssystem toleriert werden. Durch Einsatz eines Deep-Learning-basierten Tools können Elektronikhersteller typische Fehler in jeder Ausrichtung mit standardmäßiger Beleuchtung erkennen, spiegelnden Glanz sowie unbedeutende Abweichungen tolerieren und dann Fehler nach ihren gemeinsamen Attributen sortieren und klassifizieren.

Eine gängige Anwendung umfasst die Klassifizierung von Oberflächenfehlern zur Qualitätskontrolle. Deep Learning kann jeden Fehlertyp entsprechend der gemeinsamen Merkmale in eine eigene Klasse oder nach Typ einstufen. Ein Modell kann zum Beispiel „Stöße“ von „Flecken“, „Druckstellen“ und „Kratzern“ trennen, je nachdem, wie sie sich allgemein auf Metalloberflächen präsentieren. Da sich sogar jeder Stoß leicht von einem anderen unterscheidet, brauchen Hersteller Deep Learning, um die gemeinsamen Merkmale der Stöße zur richtigen Erkennung zu konzeptionieren und zu verallgemeinern.

Das Deep-Learning-basierte Inspektionssystem bezieht dazu kontextbezogene Informationen über die Metalloberflächen der Bauteile mit ein, damit es ein zuverlässiges Modell der Form, Abmessungen und Textur von Oberflächendefekten bilden kann. Fehler wie Stöße und Kratzer werden somit als Abweichungen — oder fehlerhafte bzw. „schlechte“ Bilder — gekennzeichnet, da sie als strukturierte Bereiche erscheinen, die von der normalen Oberflächentextur abweichen. Daher werden alle „schlechten“ Bilder mit gemeinsamen Merkmalen nach ihren gemeinsamen Aspekten, wie Stößen, Flecken, Druckstellen und Kratzern, sortiert.

Falls bestimmte Fehlertypen keine funktionellen Schäden verursachen und vom Hersteller als zulässig eingestuft werden, kann das System entscheiden, diese Klasse zu tolerieren und sie zur nächsten Produktionsphase zuzulassen.

Deep-Learning-Klassifizierung für die Verpackungsindustrie

Eine auf dem Erscheinungsbild basierende Verpackungsidentifizierung ohne den Einsatz von Barcodes ist schwierig. In diesen Fällen müssen Inspektionssysteme nicht nur die normalen und erwarteten Abweichungen im Aussehen des Produkts oder der Charge wahrnehmen, sondern auch die Art und Weise, wie Verpackungen ihr Aussehen aufgrund lokaler Kontraständerungen durch ungleichmäßige Beleuchtung verändern.

Klassifizierung Konsumgüterverpackungsindustrie

Bei Sammelverpackungen von Lebensmittel- und Getränkeprodukten, wo dieselben Packungen in ihren Behältern unterschiedlich verarbeitet sein können, muss das Inspektionssystem sofort erkennen, dass die kleinsten Unterschiede in der Verpackung — die unter bestimmten Lichtbedingungen schwer zu entdecken sein können — zu zwei verschiedenen Paketklassen führen.

Zum Beispiel können zwei gleiche Viererpackungen Toilettenpapier, die mit demselben Barcode gekennzeichnet sind, in ihren Behältern unterschiedlich gestapelt sein; manche Viererpackungen können einzeln liegen, während andere mit weiteren Packungen für den Versand verpackt sind. Damit ein Bildverarbeitungssystem diese kleinen Unterschiede erfasst, wäre eine Programmierung mit umfangreichen Auswahlkriterien sowie sorgfältig abgestimmten und optimierten Erkennungsalgorithmen erforderlich.

Die Deep-Learning-basierte Bildanalyse beruht stattdessen auf einem menschenähnlichen Ansatz, um zwischen zwei verschiedenen Paketklassen zu unterscheiden. Das System kann anhand gekennzeichneter Bilder beider Paketklassen wahrnehmen, dass sie sich durch die zusätzliche Verpackung unterscheiden und sie entsprechend sortieren.

Deep-Learning-Klassifizierung für die Life-Science-Industrie

Krebszellen haben verschiedene, unvorhersehbare Formen. Tatsächlich weisen die verschiedenen Größen und Formen einer einzelnen Krebszellenart mehr Unterschiede als gemeinsame Merkmale auf. Für einen Pathologen ist es fast unmöglich zu sagen, was eine Brustkrebszelle „ausmacht“. Das alte Sprichwort, dass „man sie erkennen wird, wenn man sie sieht“ erweist sich in der Zellpathologie leider als wahr.

Klassifizierung Life-Science-Industrie

Deep-Learning-basierte Defekterkennungstools bewältigen diese Herausforderung durch Erlernen der unzähligen verschiedenen Formen einer Krebszelle und können all jene Zellen genau markieren, die anomal erscheinen, während sie die natürlichen, normalen Abweichungen einer gesunden Zelle berücksichtigen. Bei der Bewertung des Differenzierungsgrads einer Zelle kann ein Deep-Learning-basiertes Tool jedoch alle anomalen Bilder nach bestimmten Morphologien klassifizieren. Industrielle Bildverarbeitung kann diese Aufgabe aufgrund inhärenter Programmierbeschränkungen nicht bewältigen.

Prostatakrebszellen werden zum Beispiel anhand von ihrem „Gleason-Score“ oder Grad der Drüsenstruktur auf einer Skala von 1-5 bewertet. „1“ ist gleichmäßig und „5“ ist unregelmäßig und ausgeprägt. Ein Deep-Learning-basiertes Tool kann die Automatisierung der Prüfung unterstützen, indem es anhand des Differenzierungsgrads der Drüsenstruktur ein Modell miteinbezieht, wie Zellgewebe der Stufen 1-5 aussieht. Auf Basis dieses Erscheinungsbildes kann ein Klassifizierungstool alle Proben entsprechend sortieren. Ein Tool wie Cognex Deep Learning ist dazu selbst dann in der Lage, wenn die Szene mehrfache Stellen umfasst, da es sich auf mehrere Zielbereiche in einem einzelnen Bild konzentriert.

Bei der Klassifizierung können die „Klassen“ nach Fehlertyp, Größe, Form, Farbe und verschiedenen Morphologien variieren, die für jede Industrie einmalig sind. Deep-Learning-basierte Bildanalysesoftware für die Industrie kann nicht nur automatisierte Prüfungen der Hersteller verbessern, sondern auch das schaffen, was zuvor unmöglich war: ohne Programmierung klassifizieren, sortieren und bewerten. Dies ermöglicht schließlich eine Automatisierung von Prüfungen, die eine Unterscheidung zwischen visuell ähnlichen, aber unterschiedlichen Produkten umfassen, während sie große Abweichungen innerhalb derselben Klasse tolerieren sowie zwischen tolerierbaren Abweichungen und echten Fehlern unterscheiden.

Deep-Learning-basierte Lösungen wie Cognex Deep Learning erweitern die Leistungsstärke von traditioneller industrieller Bildverarbeitung nicht nur auf das Prüfen, sondern auch auf das Sortieren und Klassifizieren von Teilen nach ihren optischen Merkmalen. Dies trägt zu einer schnelleren Montage und zum Erkennen von Produktionsfehlern bei, bevor sie die Qualität und den Durchsatz beeinträchtigen.

Weitere Posts auf

ERHALTEN SIE ZUGANG ZU SUPPORT & TRAINING FÜR PRODUKTE & MEHR

Werden Sie Teil von MyCognex