Comprenez ces cinq indicateurs clés basés sur le Deep Learning pour la classification pour assurer la réussite de vos applications

La qualité des produits est le moteur de la plupart des entreprises. Faire les choses bien en permanence inspire confiance aux clients et entraîne un bouche-à-oreille positif, moins de rappels coûteux et, en fin de compte, de meilleurs résultats pour l’entreprise. Dans une usine ou sur une ligne de production, utiliser des systèmes de vision industrielle à chaque étape de la production est l’un des meilleurs investissements possibles pour obtenir des produits de qualité. Les outils basés sur le Deep Learning en particulier, tels qu’un classificateur, aident les fabricants à identifier d’éventuels problèmes d’assurance qualité sur la ligne de production afin de limiter les défauts généraux sur les produits finis.

Le classificateur est un outil d’inspection important, car il ne suffit pas d’identifier les défauts ou les pièces endommagées sur la ligne de production et de les retirer de la production. Ces défauts doivent aussi être classés pour que le système d’inspection puisse identifier les formes afin de déterminer si un défaut est une rayure ou une bosse, par exemple. La bonne classification de ces défauts de production évite la mise sur le marché de produits défectueux. À l’inverse, les prédictions erronées empêchent les bons produits d’arriver sur les étalages, ce qui ralentit la production et augmente les coûts.

À l’ère de l’Industrie 4.0, où les mégadonnées sont essentielles au contrôle des processus et de la qualité, disposer des bons indicateurs issus de ces données permet aux entreprises de comprendre si leurs applications de classification basées sur le Deep Learning fonctionnent de façon optimale. Les applications de classification utilisent quatre principaux résultats pour générer ces données :

• Vrai positif : la vérité terrain est positive et la catégorie prédite est également positive
• Faux positif : la vérité terrain est négative et la catégorie prédite est positive
• Vrai négatif : la vérité terrain est négative et la catégorie prédite est négative
• Faux négatif : la vérité terrain est positive et la catégorie prédite est négative

La vérité terrain désigne le résultat concret de l’inspection, par exemple l’identification d’une bosse sur un pare-chocs automobile. Les développeurs et les ingénieurs veulent affiner leurs applications basées sur le Deep Learning afin de prédire et classer correctement les défauts. Par exemple, pour qu’ils correspondent au défaut réel trouvé sur la pièce.

Les entreprises ont de nombreux indicateurs à leur disposition pour mesurer la réussite de leur application de classification, mais nous allons nous concentrer sur cinq d’entre eux.

Précision et taux d’erreur

L’indicateur le plus couramment utilisé dans les applications de fabrication basées sur le Deep Learning est la précision de classification. Il est en effet simple et efficace pour transmettre un message implicite en un seul chiffre. Le taux d’erreur est un complément non négligeable de la précision.

Ces indicateurs sont les plus fondamentaux, car ils indiquent l’efficacité globale d’une application basée sur le Deep Learning.

Mesurer la précision est relativement simple : divisez le nombre de bonnes prédictions par le nombre total de prédictions effectuées. Le taux d’erreur est le nombre de prédictions erronées divisé par le nombre total de prédictions.

Il est important de noter que, pour les applications de classification, les bonnes prédictions incluent aussi bien les vrais positifs que les vrais négatifs.

Taux de fuite

Le fait qu’une application de classification prédise à tort qu’une pièce défectueuse est conforme est appelé une « fuite ». Laisser « fuiter » des produits endommagés ou défectueux sur le marché sans être détectés met en péril la réputation des entreprises en matière de qualité des produits. Par ailleurs, le rappel de ces produits ayant fuité peut coûter des millions de dollars.

Le taux de fuite est mesuré en divisant le nombre de faux négatifs par le nombre total de prédictions.

Taux d’excès

Une application de classification dont les prédictions sont des faux positifs génère des excès, c’est-à-dire que les bons produits ou les pièces sans défaut sont retirés à tort de la ligne de production. Les pièces non défectueuses qui sont retirées de la ligne peuvent être mises au rebut ou retraitées manuellement. Dans les deux cas, le fabricant doit faire face à des coûts supplémentaires de pièces et de main-d’œuvre.

Le taux d’excès est mesuré en divisant le nombre de faux positifs par le nombre total de prédictions.

Précision

L’indicateur de précision répond à la question suivante : quelle proportion de prédictions positives était correcte ? En d’autres termes, l’application de classification prédit-elle la bonne catégorie sans transiger sur les faux positifs ?

Une valeur de 1 indique que le modèle de classification est excellent pour prédire la bonne catégorie avec en plus un taux d’excès de 0 %. Une valeur de 0 indique que le modèle n’est pas capable d’assurer cette tâche.

Score F1

Le score F1 est défini comme la moyenne harmonique de la précision et de la mémorisation. Il mesure la précision d’un test. La plus grande valeur possible est 1, elle indique que la précision et la mémorisation sont impeccables.

Comme mentionné précédemment, la précision est le nombre de résultats positifs correctement identifiés divisé par le nombre total de résultats positifs, y compris ceux qui ont été mal identifiés. La mémorisation est le nombre de résultats positifs correctement identifiés divisé par le nombre total d’échantillons qui auraient dû être identifiés comme positifs.

Ainsi, le score F1 est le pourcentage de prédictions correctes générées par l’application de classification.

Mesurer ce qui importe

Ces exemples sont peu développés par souci de simplification. Un vrai algorithme de Deep Learning peut avoir une demi-douzaine de catégories, voire plus. Cela donnerait une matrice de confusion beaucoup plus sophistiquée. Il existe également des formules plus complexes pour évaluer la mémorisation et la précision des algorithmes d’apprentissage, par exemple.

Enfin, ces indicateurs de classification permettent aux entreprises de créer un référentiel de réussite et d’appliquer des mécanismes de notation, à l’instar d’un professeur qui évalue ses élèves. Au fil du temps, les développeurs de Deep Learning peuvent utiliser ces indicateurs pour affiner leurs applications et évaluer de façon bien plus précise ce qui va et ce qui ne va pas.

En matière d’automatisation industrielle, les fabricants ont besoin de mieux comprendre ce qui va et ce qui ne va pas dans les applications qu’ils ont déployées. Le choix des indicateurs à utiliser dépend de la ligne de production de chaque entreprise, des problèmes qu’elle cherche à résoudre et des résultats qui l’intéressent.