Verstehen Sie diese 5 wichtigsten Messgrößen der Deep-Learning-Klassifizierung für besseren Anwendungserfolg

Die Produktqualität ist für die meisten Unternehmen von elementarer Bedeutung. Zuverlässig eine hohe Produktqualität zu liefern führt zu Kundenvertrauen, positiver Mundpropaganda, einer geringeren Zahl kostspieliger Rückrufe und letztlich zu besseren Geschäftsergebnissen. In einer Fabrik oder Produktionslinie ist die Integration von Bildverarbeitungssystemen in jeden Produktionsschritt eine der besten Investitionen, um eine hohe Produktqualität zu gewährleisten. Insbesondere helfen Deep-Learning-Tools wie ein Klassifikator Herstellern dabei, mögliche Probleme mit der Qualitätskontrolle an der Produktionslinie zu erkennen, um Mängel an den Endprodukten zu beschränken.

Der Klassifikator ist ein wichtiges Prüftool, weil es nicht genügt, Fehler oder beschädigte Teile an der Produktionslinie zu erkennen und aus der Produktion zu nehmen. Diese Fehler müssen auch klassifiziert werden, damit das Prüfsystem Muster erkennen und bestimmen kann, ob ein Fehler beispielsweise ein Kratzer und ein anderer eine Druckstelle ist. Die richtige Klassifizierung dieser Produktionsmängel kann verhindern, dass fehlerhafte Produkte auf den Markt kommen. Eine falsche Klassifizierung führt dagegen dazu, dass fehlerfreie Produkte nicht ausgeliefert werden, wodurch die Produktion ins Stocken gerät und zusätzliche Kosten anfallen.

In der Welt der Industrie 4.0, in der Big Data für die Prozesssteuerung und Qualitätskontrolle entscheidend sind, bieten die richtigen, aus diesen Daten abgeleiteten Kennzahlen den Unternehmen Erkenntnisse darüber, ob ihre Prüfungen mit Deep Learning Klassifizierung eine optimale Leistung bringen. Klassifizierungsanwendungen stützen sich zur Erstellung dieser Daten auf vier Hauptergebnisse:

• Richtig positiv: Die Grundwahrheit (Ground Truth) ist positiv und die vorhergesagte Klasse ist ebenfalls positiv.
• Falsch positiv: Die Grundwahrheit ist negativ und die vorhergesagte Klasse ist positiv.
• Richtig negativ: Die Grundwahrheit ist negativ und die vorhergesagte Klasse ist negativ.
• Falsch negativ: Die Grundwahrheit ist positiv und die vorhergesagte Klasse ist negativ.

Die Grundwahrheit ist das tatsächliche Prüfergebnis, zum Beispiel die Erkennung einer Delle auf einer Autostoßstange. Entwickler und Ingenieure wollen ihre Deep-Learning-Anwendungen verbessern, um beispielsweise Fehler richtig vorherzusagen und zu klassifizieren, die mit dem am tatsächlichen Teil gefundenen Grundwahrheitsfehler übereinstimmen.

Es gibt viele Kennzahlen, die Unternehmen zur Messung des Erfolgs ihrer Klassifizierungsanwendung verwenden können. Wir sehen uns hier fünf davon genauer an.

Genauigkeits- und Fehlerraten

Die am häufigsten verwendete Kennzahl in der Herstellung von Deep-Learning-Anwendungen ist die Klassifizierungsgenauigkeit, denn sie vermittelt die zugrunde liegende Information auf einfache und effektive Weise mit einer einzelnen Zahl. Fehlerraten sind eine wertvolle Ergänzung der Genauigkeit.

Sie sind die wichtigsten Kennzahlen, da sie die grundlegende Leistungsfähigkeit einer Deep-Learning-Anwendung ermitteln.

Die Messung der Genauigkeit ist relativ einfach: die Anzahl der richtigen Vorhersagen wird durch die Gesamtzahl aller Vorhersagen dividiert. Die Fehlerrate ist die Anzahl der falschen Vorhersagen dividiert durch die Anzahl aller Vorhersagen.

Es sei darauf hingewiesen, dass richtige Vorhersagen bei Klassifizierungsanwendungen alle richtig-positiven und richtig-negativen Ergebnisse umfassen.

Escape-Rate

Wenn eine Klassifizierungsanwendung ein fehlerhaftes Teil fälschlicherweise für gut befindet, wird dies als „Escape“bezeichnet. Der Ruf eines Unternehmens für Qualitätsprodukte wird gefährdet, wenn beschädigte oder mangelhafte Produkte unentdeckt auf den Markt kommen. Außerdem können Rückrufe durch diese irrtümlich auf den Markt gekommenen Produkte Millionen von Dollar kosten.

Zur Messung der Escape-Rate wird die Anzahl der falschnegativen Vorhersagen durch die Gesamtzahl der Vorhersagen dividiert.

Overkill-Rate

Eine Klassifizierungsanwendung, die falsch-positive Vorhersagen liefert, erzeugt einen Overkill. Das bedeutet, dass gute Produkte oder fehlerfreie Teile fälschlicherweise aus der Produktionslinie genommen werden. Fehlerfreie Teile, die aus der Linie entfernt werden, könnten als Ausschuss enden oder manueller Nacharbeit unterzogen werden. In beiden Fällen bedeutet das für den Hersteller zusätzliche Kosten für Teile und Arbeit.

Zur Messung der Overkill-Rate wird die Anzahl der falsch-positiven Vorhersagen durch die Gesamtzahl der Vorhersagen dividiert.

Genauigkeit

Die Genauigkeit gibt an, welcher Anteil der positiven Vorhersagen richtig war. Anders gesagt: Sagt die Klassifizierungsanwendung die richtige Klasse ohne beeinträchtigende falsch positive Ergebnisse vorher?

Ein Wert von 1 weist darauf hin, dass das Klassifizierungsmodell die richtige Klasse sehr gut vorhersagen kann und gleichzeitig 0 % Overkill erreicht. Ein Wert von 0 weist darauf hin, dass das Modell nicht in der Lage ist, das zu tun, was es sollte.

F1-Einstufung

Die F1-Einstufung ist als harmonisches Mittel von Genauigkeit und Sensitivität definiert. Sie ist ein Maß für die Testgenauigkeit. Der höchstmögliche Wert ist 1 und weist auf perfekte Präzision und Sensitivität hin.

Wie bereits erwähnt, gibt die Genauigkeit die Anzahl der richtig erkannten positiven Ergebnisse an, dividiert durch die Anzahl aller positiven Ergebnisse, einschließlich der nicht korrekt erkannten. Sensitivität ist die Anzahl der richtig erkannten positiven Ergebnisse dividiert durch die Anzahl aller Proben, die als positiv erkannt hätten werden sollen.

Die F1-Einstufung ist also der Prozentsatz der richtigen Vorhersagen durch die Klassifizierungsanwendung.

Messen, was wichtig ist

Dieses Beispiel wurden der Einfachheit halber simpel gehalten. Ein realer Deep-Learning-Algorithmus könnte ein halbes Dutzend oder noch mehr Klassifizierungen haben. Dies würde eine viel anspruchsvollere Wahrheitsmatrix ergeben. Es gibt zum Beispiel auch komplexere Formeln für die Beurteilung von Sensitivität und Genauigkeit der Lernalgorithmen.

Letztendlich können Unternehmen mit diesen Klassifizierungskennzahlen eine Erfolgsbasis schaffen und Bewertungsmechanismen anwenden, ungefähr so wie Lehrer, die ihren Schülern Noten geben. Deep-Learning-Entwickler können diese Kennzahlen mit der Zeit bei der Feinabstimmung ihrer Anwendungen nutzen und viel genauer beurteilen, was funktioniert und was nicht.

Dies ist auch im Bereich der industriellen Automatisierung für Hersteller hinsichtlich der implementierten Anwendungen ein wichtiger Faktor. Die einzelne Produktionslinie des jeweiligen Unternehmens, die Probleme, die gelöst werden sollen und die wichtigsten Geschäftsergebnisse sind ausschlaggebend dafür, welche Kennzahlen man in den Mittelpunkt stellt.