Comienzo de un proyecto de Deep Learning para la producción, parte 4: prueba de aceptación en fábrica

cerebro azul con conexiones de red sobre casillas de verificación marcadas; grandes

En la fase final de puesta en marcha de un proyecto de Deep Learning en un contexto de producción —una vez que el sistema ha demostrado funcionar en entornos de prueba— el equipo debe llevar a cabo los procedimientos de prueba de aceptación en fábrica (Factory Acceptance Testing, FAT).

En esta fase, el sistema de visualización y el inspector humano siguen clasificando las piezas como aceptables o no aceptables, y un experto revisa cualquier ambigüedad que pudiera surgir y aplica las etiquetas que correspondan. A continuación, se hace un seguimiento de todas las estadísticas para determinar el desempeño de la inspección humana en comparación con el sistema de visualización automático.

Prueba estadística y de repetibilidad 

Luego de que el sistema de Deep Learning llegue a la planta de producción para la prueba de aceptación, el equipo debe hacer pruebas estadísticas, que implican la recolección de miles de puntos de datos durante un período prolongado a fin de captar toda la variedad posible de tipos de defectos y la frecuencia con la que ocurren. Este enfoque puede combinarse con una validación a través de una inspección manual para calcular un retorno de la inversión exacto del proyecto. En la práctica esto implica dejar que el sistema de Deep Learning se ejecute en paralelo al proceso de inspección manual y, transcurrido un mes, recolectar las imágenes y comparar los resultados. Cualquier ambigüedad o discrepancia que se observe puede remitirse al experto asignado, quien puede tomar la decisión correcta para generar datos estadísticos precisos. 

Este método de prueba le permite al equipo realizar una validación de extremo a extremo de inspecciones de varios pasos; hacer pruebas compuestas de piezas y tipos de defectos; medir costos, y calcular de manera precisa el retorno de la inversión. La única desventaja es que las pruebas estadísticas requieren un conjunto de datos amplio y representativo, que no siempre es fácil de conseguir. Además, los cambios en la formación de las imágenes, la apariencia de los productos o las etiquetas de información real pueden anular semanas o meses de datos, lo cual es algo que se debe tener muy en cuenta.

Capturas de pantalla que muestran la distribución de lecturas de aprobación o fallo tomadas de una aplicación de Deep Learning

Resultados de muestras de pruebas estadísticas

En última instancia, las pruebas de repetibilidad no son representativas de la verdadera distribución de defectos o de su verdadera apariencia, lo que les impide a las empresas calcular con precisión los falsos positivos, los falsos negativos y el retorno de la inversión. Si se ve obligado a implementar métodos de prueba basados en la repetibilidad, tenga esto último en cuenta.

Adición de un nivel de inspección 

Otro método frecuente implementado durante la fase de FAT es la inspección de dos niveles. En este método, el sistema de Deep Learning realiza la primera inspección y todos los casos dudosos se envían a un inspector humano para una segunda revisión. Esto ayuda a reducir la cantidad de falsos positivos y falsos negativos. Los resultados sirven también para mejorar el proceso de entrenamiento del sistema de Deep Learning. 

Un enfoque de dos niveles les permite a las empresas reducir los falsos positivos y los falso negativos cuando las piezas que no se ajusta a ninguna categoría bien definida puedan volver a procesarse. Además, este método ayuda a reducir los desperdicios, ya que limita la producción de más piezas defectuosas al tiempo que mejora la confiabilidad general del sistema, lo que permite ahorrar costos en mano de obra y posibilita la mejora continua del proceso al identificar las imágenes de piezas problemáticas para agregarlas al conjunto de entrenamiento del sistema.

Distribución de errores de muestra tomada de una inspección de dos niveles utilizada para validar la aplicación de Deep Learning

En la inspección de dos niveles, las piezas clasificadas dentro de la “zona gris” o fase intermedia son remitidas a los inspectores humanos para un análisis más exhaustivo.

Mejora continua

Aun después de obtener resultados positivos en la prueba FAT, el equipo de Deep Learning tiene que seguir mejorando el sistema recolectando datos y agregándolos al paquete de entrenamiento del sistema. Estos datos incluyen imágenes de piezas aceptables y no aceptables, piezas dudosas y cualquier innovación en las piezas, así como discrepancias entre el sistema de visualización y los inspectores humanos. Un integrante del equipo puede agregar estas imágenes de forma manual al paquete de entrenamiento del sistema para validar el nuevo modelo. Seguir estos pasos es una condición necesaria para la correcta implementación del sistema, ya que este puede adaptarse con más facilidad a las variaciones a lo largo del tiempo, como las provocadas por los cambios de luminosidad, los ajustes en cuanto al manejo de las piezas y la aparición de nuevos componentes. Y siempre que surjan nuevas imágenes que contengan instancias de defectos raros, el equipo tiene que agregarlas al sistema para seguir refinándolo.

Las fábricas que sigan todas las fases estipuladas en un proyecto —incluida la planificación inicial, la recolección de datos y la fijación de la información real, así como la optimización y la ejecución de pruebas FAT— podrán aprovechar las enormes ventajas de los sistemas de Deep Learning. Sin embargo, esto no es todo. El equipo debe seguir recolectando datos y mejorando el modelo de forma continuada. Con el tiempo los resultados finales serán cada vez mejores.

 

Más artículos sobre

ACCESO A ASISTENCIA Y CAPACITACIÓN PARA PRODUCTOS Y MÁS

Únase a MyCognex