화인스텍 2024 딥러닝 기반의 머신비전 융합 트렌드
2024-01-08
1. 2024 머신비전과 딥러닝 규모와 시장 방향
최근 AI 기술이 발전함에 따라 제조업계에서의 머신비전도 새로운 솔루션의 전환이 시작되어 가고 있습니다. Bizwit Research & Consulting LLP의 보고서에 따르면 세계의 딥러닝 시장은 2022~2029년에는 33.5% 이상의 성장률을 보일 것이라고 전했습니다. 딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템으로 대량의 정보를 수집, 분석 및 해석하여 데이터를 처리하여 다양한 산업과 업무에서 정확성, 신뢰성, 비용 절감, 생산성 등의 향상에 기여합니다.
정교한 작업이 가능한 AI 딥러닝은 소매업, 의료, 자동차, 농업, 보안, 로봇, 항공우주, 제조산업에서 다양한 솔루션을 제공합니다.
제조 산업에서 AI 기술은 2022년에서 2023년까지의
연 평균 47.8%의 성장성을 지속하고 있습니다.
(자료 제공=VMR)
위 이미지에서 시장조사기관 VMR(Verified Market Research)이 최근 발표한 ‘글로벌 빅 데이터 시장’ 연구 보고서에서 제공한 자료에서 보이는 것처럼
제조업계에서 딥러닝 도입으로 인한 자동화는 이제는 선택이 아니라 필수입니다.
따라서, 머신비전 업계에서도 검사 자동화에 있어서는 룰(rule) 기반에서 딥러닝 기반을 통한 솔루션으로 부각되면서 딥러닝 기반 시스템으로 빠르게 전환되어 가고 있습니다.
2. 룰 기반에서 딥 러닝(Deep Learning) 시스템의 새로운 전환
| 룰 기반(Rule Based Learning) 시스템 VS 딥 러닝(Deep Learning) 기반 시스템
딥 러닝(Deep Learning) 이전의 머신비전은 주로 ‘룰 베이스(Rule base)’ 기반으로, 양품과 불량품 데이터를 각각 대량으로 확보한 뒤 머신비전 카메라로 촬영한 제품 사진과 비교해 양품과 불량품을 검사했습니다. 그러나 룰 기반은 기존 DB 기준을 넘어서는 불량에 대해 제대로 인식하지 못하는 미검 상황이 다수 발생합니다.
룰 베이스는 DB 안에서 이뤄지는 시스템이라면 딥 러닝(Deep Learning) 기반의 시스템은 양품과 불량품의 특징에 관한 데이터를 다층적으로 학습하여 DB에 등록되지 않은 데이터라도 미리 추출한 특징으로 기반으로 하여 합리적으로 불량 여부를 판단할 수 있는 기능을 제공합니다. 동시에 추가로 수집된 데이터를 스스로 학습하여 정확성과 생산성을 스스로 향상시킵니다.
현재 머신비전 분야는 ML·DL 등을 포함한 기술과 빅데이터 및 5G 같은 다양한 ICT 기술이 접목되면서 검사 정확도를 높이고 있으며, 공정 효율 개선에도 실질적인 도움을 주고 있습니다.
Business Research insight의 머신비전 시장의 딥 러닝 보고서에 따르면 2022부터 2028년까지의 머신 비전 딥 러닝 시장 규모는 연평균 54.4%의 성장률(CAGR)을 나타낼 것이라고 예상했습니다.
이러한 추세에 따라 제조업계에서는 딥 러닝(Deep Learning)을 활용하여 높은 해상도, 실시간 처리, 효율적인 학습 알고리즘을 통해 새로운 유형의 불량 탐지의 정확성을 높여 산업 내에서 경쟁력을 유지하고 신기술에 대한 요구를 해결할 수 있는 기대감이 점점 더 커지고 있습니다.
3. 딥러닝과 머신비전의 융합 활용 사례
딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템입니다. 머신비전업계에서 딥러닝은 CNN*(컨볼루션 신경망)과 딥 피드 포워드*(deep, feed-forward) 방식의 인공 신경망으로, 이미지를 분석하는 데 가장 널리 적용되고 있습니다. 컨볼루션 신경망(CNN)은 부품 분류, 검출, 결함 감지 등을 효과적으로 수행하기 때문에 제조업에서는 이 기술을 활용하여 자동적이고 정확한 제품 검사, 결함 감지, 및 품질 향상을 위한 머신 비전 시스템을 구축할 수 있습니다.
*CNN(컨볼루션 신경망)은 주로 이미지 인식 및 패턴 인식에 사용되는 딥러닝의 한 유형으로 이미지 처리 작업에 특화되어 있다.
*딥 피드 포워드(deep feedforward)는 깊이(depth)가 깊다는 딥과 정보가 한 방향으로만 흐르는(feed-forward)라는 뜻의 구조로 이 신경망이 여러 층으로 구성되어 있고 정보가 깊다는 의미.
그리고 더 나아가 딥 러닝 기술을 활용하여 이미지 분석 및 검사 분야에서 혁신적인 솔루션을 제공하는 기업들이 존재합니다. 그 예로 Eurerys가 딥 러닝 기술로 실시간으로 부품을 분류하고 결함을 탐지하는 기술을 제조 업계에 제공함으로써 생산 효율성을 향상하고 품질 표준을 유지하는 데 기여해왔습니다.
| 딥 러닝과 머신 비전의 융합 적용사례: Euresys – Open eVision 라이브러리
“머신비전 산업에서 대표적인 이미지 분석 라이브러리”
Euresys는 이미지 및 비디오 수집 구성 요소, 프레임 그래버, FPGA IP 코어 및 이미지 처리 소프트웨어를 설계하고 제공하는 선도적이고 혁신적인 하이테크 기업입니다
Euresys는 Open eVision은 머신 비전 검사 애플리케이션을 독립적인 이미지로 처리하고 분석하는 라이브러리입니다.
 |
- 프레임 그래버, GigE 비전 및 USB3 비전 카메라를 포함한 모든 이미지 소스 호환 |
Open eVision 기술은 딥 러닝 기술을 활용하여 안정적이면서도 변화하는 환경에 대응하여 다양한 조건이나 요구에 유연하게 대처하는 머신 비전 검사를 제공합니다. 특히 딥 러닝 기술을 활용한 라이브러리인 Deep Learning Bundle은 새로운 보조 세분화 도구를 통하여 픽셀 단위의 완벽한 주석을 얻는 빠르고 효율적인 방법을 제시합니다. 이는 보조 세분화 도구를 통해 이미지를 작은 부분으로 분할하여 각 부분의 특성을 분석한 후에 이미지의 각 픽셀에 주석을 달아 물체나 특징을 픽셀 수준에서 정확하게 식별하고 기록하여 작업을 신속하고 효율적으로 동작하는 방법을 제공한다는 의미입니다.
Euresys의 Deep Learning Bundle은 특히 머신 비전 애플리케이션의 이미지 분석을 위해 맞춤화, 매개변수에 최적화된 기술입니다.
또한, Deep Learning Bundle은 데이터 증강(Data Augmentation) 기능을 활용하여 딥 러닝 신경망을 학시키는 방식으로 작동합니다. 다시 말해, 프로그램 가능한 한계 내에서 기존의 기준 이미지를 수정(예: 이동, 회전, 확대)하여 추가로 기준 이미지를 생성하는 '데이터 증강'을 구현합니다. 이로써 Deep Learning Bundle은 클래스 당 겨우 100개의 학습 이미지로도 효과적으로 작동할 수 있습니다.
데이터 증강(Data Augmentation)
따라서, Deep Learning Bundle은 Open eVision 라이브러리의 핵심 부분으로 데이터 증강과 보조 세분화 도구를 통해 이미지 주석을 신속하고 정확하게 수행하여 기술적 효율성과 성능을 향상시켜 머신 비전 검사 분야에서 안정적이고 유연한 솔루션을 제공합니다. 특히, Deep Learning Bundle은 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)과 같은 다양한 딥 러닝 솔루션을 통해 Open eVision 라이브러리의 핵심 부분으로서 기술적인 효율성과 성능을 높이고 있습니다.
| Deep Learning Bundle이 제공하는 세가지 특징 및 적용사례
Deep Learning Bundle은 Open eVision 라이브러리의 일부이며 딥 러닝 라이브러리는 딥 러닝이 솔루션을 제공하는 세 가지 특정 기능, 즉 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)에 대응하는 소프트웨어 도구로 구성되어 있습니다.
1) Euresys Deep Learning Bundle의 분류 라이브러리: EasyClassify
EasyClassify는 이미지 분류를 위한 Deep Learning의 분류 도구로, 불량 감지 및 제품 인식과 같은 작업에 사용됩니다. 이 도구는 소프트웨어 사용자가 초기에 머신비전 시스템을 통해 취득한 이미지에 라벨링 작업을 하면 그 후 EasyClassify가 딥 러닝 기술을 활용하여 주어진 이미지가 특정 클래스에 속할 확률을 계산하고, 이를 클래스로 할당합니다. 즉, 이미지가 학된 각 클래스에 속할 가능성을 확률로 제시해 줍니다. 사용자는 어떤 부품이 양호하고 어떤 부품이 불량하며 어떤 부품이 어떤 클래스에 속하는지만 알려주면 됩니다. 이 학습 프로세스 후에 EasyClassify 라이브러리가 이미지를 분류합니다.
EasyClassify는 결함을 명확하게 규정하기 어려울 때 기존 머신 비전보다 더 성능이 뛰어납니다. 예를 들면, 다양한 스케일 및 위치에서 복잡한 모양과 텍스처에 따라 분류가 달라지는 경우가 여기에 해당합니다.
2) Euresys Deep Learning Bundle의 분할 라이브러리: EasySegment
EasySegment은 개체 및 결함을 쉽게 분할할 수 있도록 설계된 Deep Learning Bundle의 분할 도구입니다. 이를 활용하여 결함이 포함된 부품을 식별하고 그 결함이 이미지의 어떤 위치에 있는지 정확하게 구분합니다.
Euresys-EasySegment
EasySegment는 이미지의 정상 및 비정상 결함을 감지하고, 결함이 없는 “우수한” 이미지만을 학습하는 무감독(비지도 학습) 모드와 결함 이미지를 분할하고 더 나은 분할과 "결함 감지"를 위해 결함 모델도 학습하는 감독(지도 학습) 모드가 존재합니다.
EasySegment의 무감독(비지도 학습)과 감독(지도 학습) 적용 사례:
무감독 모드를 활용한 샘플 데이터 세트: 패브릭 결함 감지
무감독(비지도 학습) 모드: “패브릭” 샘플 데이터 세트는 어떻게 EasySegment의 무감독 모드를 사용하여 소수의 양호한 샘플만 학습하고 어떤 종류의 결함이 예상되는지 알려주지 않은 상태로 패브릭에서 결함을 감지 및 분할할 수 있는지를 보여줍니다.
감독 모드를 활용한 샘플 데이터 세트: 커피 이물질 감지 및 분할
감독(지도 학습) 모드: “커피” 샘플 데이터 세트는 어떻게 EasySegment의 감독 모드를 사용하여 이물질의 색상과 질감이 커피와 매우 유사한 경우에도생산 라인에서 이물질을 효율적으로 감지 및 분할할 수 있는지를 보여줍니다.
정리하자면, EasySegment의 무감독 모드는 양호한 샘플의 이미지만 학습하기 때문에, 결함의 유형을 알고 있지 않은 경우나, 결함 샘플이 준비되지 않는 경우에도 검사를 수행할 수 있습니다. 반면, EasySegment 감독 모드는 무감독 모드보다 더 나은 정확도를 달성하고 더 복잡한 결함을 분할할 수 있습니다. 또한 EasySegment를 무감독 모드로 돌려서 얻은 결과를 확인하고, 그 결과를 실제 데이터와 비교해서 필요한 부분을 가져와서 감독 모드를 위해 필요한 주석을 더 쉽게 달거나 편리하게 활용할 수 있습니다.
3) Euresys Deep Learning Bundle의 현지화 및 분류 라이브러리: EasyLocate
EasyLocate는 딥 러닝 번들의 일부로, 사물의 위치를 찾아내고 식별하는 도구입니다. 주로 이미지에서 물체, 제품 또는 결함을 찾아내고 그것들을 구분하는 데 사용됩니다. 특히 EasyLocate는 이미지에 겹쳐 있는 물체를 식별할 수 있는 능력을 갖추고 있어, 해당 물체들의 개별적인 개수를 계산하는 데에도 활용될 수 있습니다.
EasyLocate는 축 정렬 바운딩 박스와, 관심점 총 두 가지 방법을 사용하여 사물의 위치를 찾아낼 수 있습니다.
축 정렬 바운딩 박스를 이용한 샘플 데이터
첫 번째로는 “축 정렬 바운딩 박스” 방법으로 다양한 개체 및 크기에 정확한 주석 및 위치를 지정합니다. 이미지 속에서 찾은 각 개체(또는 결함)를 둘러싼 축 정렬 바운딩 박스를 만든 후 각각의 틀에 어떤 종류의 물체나 결함인지에 관한 클래스 레이블을 각 바운딩 박스에 할당합니다
위의 샘플 데이터처럼 "전자 부품" 데이터 세트는 EasyLocate 바운딩 박스가 열악한 조명 조건에서도 비닐봉지 안에 대량으로 보관된 다양한 종류의 전자 부품을 안정적으로 감지하고 계산할 수 있는 방법을 보여줍니다.
관심점을 이용한 샘플 데이터
두 번째는 관심점 방법으로 크기가 유사한 개체에 대한 빠른 단일 포인트로 주석 및 위치를 지정합니다. 즉, 이미지 속에서 크기가 비슷한 물체들을 예측하고 각 위치에 클래스 레이블을 할당하여 신속하게 하나의 지점으로 표시합니다.
단, 이 방법은 이미지의 모든 개체(또는 결함)의 크기가 비슷해야 합니다.
왼쪽의 샘플 데이터에서 보여지는 것처럼 “세라믹 커패시터 데이터 시트”는 EasyLocate 관심점이 서로 겹치거나 접촉하는 많은 세라믹 커패시터를 안정적으로 감지하고 정확하게 계산할 수 있는 방법을 보여줍니다. EasyLocate 관심점을 사용하면 한 번의 클릭으로 개체에 주석을 추가할 수 있으므로 주석 처리가 더 빨라집니다.
현재 Euresys의 Deep Learning Bundle의 EasyClassify / EasySegment / EasyLocate 툴은 표식 검사나 LED 검사가 필요한 전자제품 제조 산업에서 활용하고 있으며 일반 제조 산업용에서도 존재 여부 검사, 표면 분석, 어셈블리 검사, 레이블 인쇄 기계의 코드 품질 검증 등에 머신 비전 솔루션을 제공하고 있습니다. 앞으로 자동화 산업에서 성공적인 어플리케이션 구현에 있어 이미지 데이터 관리의 중요성은 더욱 강조될 것 입니다.
4. 딥 러닝 머신비전 솔루션, 제조산업의 자동화를 혁신하다
| Conclusion
머신 비전은 많은 이점을 제공하지만 이미지 품질에 영향을 미치는 일관되지 않은 조명 조건 및 실시간 처리에 대한 강력한 계산 능력과 같은 도전에 직면하고 있습니다. 또한 다양한 장치와의 상호 운용성 및 통합을 보장하기 위한 계속된 개발이 필요합니다. 따라서 인공 지능과 머신 비전의 융합은 머신 비전 업계에서 운영 효율성에서 중요한 전환을 의미합니다.
이차전지 제조과정에서는 2.5D 알고리즘과 LED 광학계 조명을 적용하여 영상처리 및 전처리 알고리즘이 강조되고 있습니다.
제조 산업이 계속해서 디지털 혁신을 수용함에 따라 비전 검사에서 딥 러닝의 역할이 진화하고 있습니다. 이러한 발전으로 제품 품질, 운영 효율성, 그리고 전반적인 경쟁력이 향상될 것으로 예상됩니다. 머신 비전을 적용한 다양한 솔루션은 산업 자동화와 스마트 제조 분야에서 주요 요소로 인식되어 제품 품질 향상과 생산 공정 효율화에 기여하고 있습니다. 뿐만 아니라 이차전지, 제약, 의료, 바이오 분야에서도 딥 러닝을 활용한 머신 비전 솔루션이 도입되고 있습니다. 마지막으로 식품 검사 및 분류를 위한 머신 비전은 특히 두드러지게 늘어나고 있습니다. 특히 패키징 공정에서는 딥 러닝을 기반으로 한 솔루션을 활용하여 제품 결합 여부를 확인하고 제품 누출을 방지하며 배송 지연을 예방할 수 있습니다. 물류 자동화의 핵심 기술인 AGV(무인운송로봇) 및 AMR(자율이동로봇)과 같은 로봇에도 머신 비전 솔루션이 도입되어, 로봇이 물건을 감지하고 이동하는 데 도움이 됩니다. 그러므로 머신 비전 자동화에 대한 딥 러닝 기술의 활용은 로봇 공학, 자율 주행 차량, 그리고 스마트 제조 분야에서 계속해서 증가할 것으로 전망됩니다.
Euresys의 Deep Learning Bundle에 관한 자세한 내용을 알고 싶으시다면 화인스텍 홈페이지에서 확인해보시기를 바랍니다!
참고 자료:
유레시스 홈페이지
지티티코리아(https://www.gttkorea.com)
인더스트리뉴(https://www.industrynews.co.kr/news/articleView.html?idxno=49846)
