제조업 딥러닝 프로젝트 시작하기 – 파트4: 공장 수용 테스트
제조 환경에서 시작한 딥러닝 프로젝트의 마지막 단계가 —일단 시스템이 시험 환경에서 잘 가동되면— 팀은 공장 수용 테스트(factory acceptance testing, FAT) 절차를 수행해야 합니다.
FAT 단계에서는 비전 시스템과 인간 검사자가 부품을 양호 또는 불량으로 계속 분류하고, 전문가가 모호한 부분을 검토하고 올바른 라벨을 적용합니다. 그 다음 모든 통계를 추적하여 인간과 비전 시스템 성능을 비교합니다.
통계 및 반복 가능성 검사
수용 테스트를 위해 딥러닝 시스템을 공장 현장으로 이동시킨 후에는 장기간에 걸쳐 수천 개의 데이터 포인트를 수집하여 모든 범위의 결함 유형과 빈도를 캡처하는 통계 시험을 수행해야 합니다. 이 방법은 수작업 검사를 통한 검증과 함께 정확한 프로젝트 ROI를 계산하는 데 도움이 됩니다. 실제로 딥러닝 시스템을 수작업 검사 공정과 병행 실행하고, 1개월 후에 이미지를 수집하고 결과를 비교합니다. 모호함이나 불일치가 있으면 지정 전문가에게 보내 정확한 통계 데이터 생성을 위한 올바른 결정을 내리게 합니다.
이 시험 방법을 통해 다단계 검사의 엔드투엔드 검증, 부품 및 결함 유형 복합 시험, 비용 측정, 정확한 ROI 계산을 수행할 수 있습니다. 유일한 단점은 통계 시험 시 대규모의 대표성 있는 데이터세트가 필요하다는 점인데, 이런 데이터세트가 항상 즉시 가용한 상태인 것은 아니기’ 때문입니다. 또한 이미지 형성, 제품 모양 또는 실측값 라벨이 변경되면 몇 주’ 또는 몇 달’ 분량의 데이터가 무효화될 수 있다는 점에 유의해야 합니다.
통계 시험의 샘플 결과
궁극적으로 반복 가능성 시험은 진짜 결함의 분포 또는 진짜 결함의 모양에 대한 대표성이 없어서 과검, 미검, ROI에 대한 정확한 추정치를 얻을 수 없습니다. 어쩔 수 없이 반복 가능성 시험 방법을 적용해야 하는 경우’ 이 점에 유의하시기 바랍니다.
검사 레이어 추가
FAT 중에 적용되는 또 다른 일반적인 방법은 이중 검사입니다. 이중 검사 시 딥러닝 시스템이 첫 번째 검사를 수행하고, 불확실한 부분은 모두 인간 검사자에게 전송되어 2차적으로 확인됩니다. 이는 위양성 및 위음성을 낮추는 데 도움이 됩니다. 그 결과 딥러닝 교육 과정도 개선될 수 있습니다.
이중 방식을 통해 모호한 범주에 속하는 부품의 재작업 시마다 미검과 과검을 줄일 수 있습니다. 또한 이 방법은 불량 부품의 추가 생산을 제한하는 동시에 전체 시스템 신뢰도를 개선하여 폐기량을 줄여 인건비를 절감하고 교육 세트에 추가할 까다로운 부품 이미지를 식별하여 지속적인 개선을 가능하게 합니다.
이중 검사에서는 “회색지대” 임계값 또는 중간 단계 점수의 부품이 인간 검사로 전환되어 추가적으로 분석됩니다.
지속적인 개선
긍정적인 FAT 결과를 확보한 후에도 딥러닝 팀은 데이터를 수집하여 교육 세트에 추가함으로써 시스템을 지속적으로 개선해야 합니다. 양호 부품, 불량 부품, 경계선 부품, 새 부품 변형 이미지는 물론, 비전 시스템과 인간 검사자 간의 불일치도 이 데이터에 포함됩니다. 팀원은 이러한 이미지를 수동으로 선택하여 교육 세트에 추가함으로써 새 모델을 검증할 수 있습니다. 팀은 스스로 성공을 거두기 위해 이렇게 하며, 이는 조명 변경, 부품 처리 조정, 새 구성품으로 인한 변화 등, 시간 경과에 따른 변화에 더 쉽게 적응할 수 있기 때문입니다. 그리고 희귀한 결함 사례가 포함된 새 이미지가 가용한 상태가 될 때마다 팀은 이미지를 시스템에 추가하여 미세 조정을 더 해야 합니다.
제조사가 초기 계획, 데이터 수집 및 검증 자료 확보, 최적화 및 FAT를 비롯한 프로젝트 전 단계를 이행할 때 딥러닝 시스템은 엄청난 가치를 제공할 수 있습니다. 그러나 이것이 끝은 아닙니다’. 지속적으로 데이터를 수집하고 모델을 개선해야 합니다. 최종 결과는 시간이 지나면서 갈수록 좋아집니다.
Manager, Global Content Marketing, Cognex
A self-proclaimed marketing maverick, Mary has experience in a variety of industries and marketing activities. Her career began in the world of defense and aerospace, then shifted to collaborative robotics and now machine vision. She drives brand awareness, nurtures customer relationships, and elevates the impact of sales through compelling content. Outside of the office, Mary enjoys baking (and eating) desserts, running outdoors, and exploring new places. She is also a self-published author of a children’s book about her dog, Doma.
