Lancement d’un projet de deep learning dans la fabrication – Partie 4 : tests d’acceptation en usine

« blue brain » (Projet Cerveau Bleu) avec connexions réseau sur fond de cases cochées-grand

Dans la phase finale du lancement d’un projet de deep learning dans un environnement de fabrication — une fois que le système a bien fonctionné dans des environnements de test —, l’équipe doit effectuer des procédures de test d’acceptation en usine (FAT, ou Factory Acceptance Testing).

Dans cette dernière phase (FAT), un inspecteur humain et le système de vision classent à nouveau des pièces comme étant conformes ou défectueuses, et un expert passe en revue les décisions ambiguës et applique la bonne étiquette. Toutes les statistiques sont ensuite suivies pour aider à déterminer les performances humaines par rapport aux performances du système de vision.

Tests statistiques et de répétabilité 

Une fois qu’un système de deep learning s’est intégré à l’usine en vue des tests d’acceptation, l’équipe doit effectuer des tests statistiques, ce qui implique la collecte de milliers de points de données sur une longue période de temps pour capturer tout l’éventail des types de défauts et la fréquence. Cette approche peut être combinée à la validation manuelle de l’inspection pour aider à calculer un retour sur investissement précis du projet. En pratique, cela implique de laisser le système de deep learning fonctionner parallèlement au processus d’inspection manuelle et, après un mois, de collecter les images et comparer les résultats. Toute ambiguïté ou divergence peut ensuite être transmise à l’expert désigné, qui sera à même de prendre la bonne décision pour produire des données statistiques précises. 

Cette méthode de test permet à l’équipe d’effectuer une validation de bout en bout des inspections en plusieurs étapes, des tests composites des types de pièces et de défauts, des mesures de coûts et des calculs précis du retour sur investissement. Le seul inconvénient réside dans le fait que les tests statistiques nécessitent un ensemble de données volumineux et représentatif, ce qui n’est pas toujours disponible immédiatement. En outre, les modifications apportées à la formation de l’image, à l’apparence du produit ou aux étiquettes de vérité sur le terrain peuvent invalider des semaines ou des mois de données, point crucial à garder à l’esprit.

Captures d’écran montrant la répartition des lectures de réussite/échec de l’application de deep learning

Exemples de résultats de tests statistiques

En fin de compte, les tests de répétabilité ne sont pas représentatifs de la distribution réelle ou l’apparence réelle des défauts, ce qui empêche les entreprises d’obtenir des estimations précises sur les sous-compétences et les excès ainsi que sur le retour sur investissement. N’oubliez pas ce point si vous êtes obligé de déployer des méthodes de test de répétabilité.

Ajout d’un niveau d’inspection 

Une autre méthode courante déployée pendant la phase FAT est l’inspection à deux niveaux. Ici, un système de deep learning effectue la première inspection, et toutes les incertitudes sont envoyées à un inspecteur humain pour une vérification secondaire. Cela permet de réduire les faux positifs et les faux négatifs. Les résultats peuvent également améliorer le processus d’entrainement en deep learning. 

Une approche à deux niveaux permet aux entreprises de réduire les sous-compétences et les excès chaque fois que des pièces qui entrent dans la catégorie ambiguë peuvent être retravaillées. En outre, cette méthode permet de réduire les rebuts en limitant la production de pièces défectueuses supplémentaires tout en améliorant la confiance globale du système, ce qui permet d’économiser sur les coûts de main-d’œuvre et de s’améliorer continuellement en identifiant les images de pièces difficiles à ajouter à l’ensemble de formation.

Exemple de distribution d’erreurs à partir d’une inspection à deux niveaux utilisée pour valider une application de deep learning

Dans l’inspection à deux niveaux, les pièces dont le score se situe au niveau du seuil représenté par la « zone grisée », appelée phase intermédiaire, sont orientées vers des inspecteurs humains pour être analysées.

Amélioration continue

Même après avoir obtenu des résultats FAT positifs, l’équipe de deep learning doit continuellement améliorer le système en collectant des données et en les ajoutant à l’ensemble de formation. Ces données comprennent des images de bonnes pièces, de mauvaises pièces, de pièces limites et de toute nouvelle variation de pièce, ainsi que des divergences entre le système de vision et l’inspecteur humain. Un membre de l’équipe peut sélectionner manuellement ces images et les ajouter à l’ensemble de formation pour valider le nouveau modèle. Ce faisant, une équipe se prépare au succès, car le système peut s’adapter plus facilement aux variations au fil du temps, notamment à celles causées par les changements d’éclairage, les ajustements de manipulation des pièces et les nouveaux composants. Et chaque fois que de nouvelles images contenant des cas de défauts rares deviennent disponibles, l’équipe doit ajouter ces images au système pour l’affiner davantage.

Lorsqu’une entreprise manufacturière effectue toutes les phases du projet — y compris la planification initiale, la collecte de données et la vérification de terrain, l’optimisation et FAT —, les systèmes de deep learning peuvent apporter une valeur énorme. Mais ce n’est pas tout. L’équipe doit continuer à recueillir des données et à améliorer le modèle en continu. Les résultats finaux continueront à s’améliorer au fil du temps.

 

Plus d’articles sur

ACCÉDEZ AU SUPPORT ET AUX FORMATIONS POUR VOS PRODUITS ET BIEN PLUS

Rejoindre MyCognex