총 2 건
1. 2024 머신비전과 딥러닝 규모와 시장 방향 최근 AI 기술이 발전함에 따라 제조업계에서의 머신비전도 새로운 솔루션의 전환이 시작되어 가고 있습니다. Bizwit Research & Consulting LLP의 보고서에 따르면 세계의 딥러닝 시장은 2022~2029년에는 33.5% 이상의 성장률을 보일 것이라고 전했습니다. 딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템으로 대량의 정보를 수집, 분석 및 해석하여 데이터를 처리하여 다양한 산업과 업무에서 정확성, 신뢰성, 비용 절감, 생산성 등의 향상에 기여합니다. 정교한 작업이 가능한 AI 딥러닝은 소매업, 의료, 자동차, 농업, 보안, 로봇, 항공우주, 제조산업에서 다양한 솔루션을 제공합니다. 제조 산업에서 AI 기술은 2022년에서 2023년까지의 연 평균 47.8%의 성장성을 지속하고 있습니다. (자료 제공=VMR) 위 이미지에서 시장조사기관 VMR(Verified Market Research)이 최근 발표한 ‘글로벌 빅 데이터 시장’ 연구 보고서에서 제공한 자료에서 보이는 것처럼 제조업계에서 딥러닝 도입으로 인한 자동화는 이제는 선택이 아니라 필수입니다. 따라서, 머신비전 업계에서도 검사 자동화에 있어서는 룰(rule) 기반에서 딥러닝 기반을 통한 솔루션으로 부각되면서 딥러닝 기반 시스템으로 빠르게 전환되어 가고 있습니다. 2. 룰 기반에서 딥 러닝(Deep Learning) 시스템의 새로운 전환 | 룰 기반(Rule Based Learning) 시스템 VS 딥 러닝(Deep Learning) 기반 시스템 딥 러닝(Deep Learning) 이전의 머신비전은 주로 ‘룰 베이스(Rule base)’ 기반으로, 양품과 불량품 데이터를 각각 대량으로 확보한 뒤 머신비전 카메라로 촬영한 제품 사진과 비교해 양품과 불량품을 검사했습니다. 그러나 룰 기반은 기존 DB 기준을 넘어서는 불량에 대해 제대로 인식하지 못하는 미검 상황이 다수 발생합니다. 룰 베이스는 DB 안에서 이뤄지는 시스템이라면 딥 러닝(Deep Learning) 기반의 시스템은 양품과 불량품의 특징에 관한 데이터를 다층적으로 학습하여 DB에 등록되지 않은 데이터라도 미리 추출한 특징으로 기반으로 하여 합리적으로 불량 여부를 판단할 수 있는 기능을 제공합니다. 동시에 추가로 수집된 데이터를 스스로 학습하여 정확성과 생산성을 스스로 향상시킵니다. 현재 머신비전 분야는 ML·DL 등을 포함한 기술과 빅데이터 및 5G 같은 다양한 ICT 기술이 접목되면서 검사 정확도를 높이고 있으며, 공정 효율 개선에도 실질적인 도움을 주고 있습니다. Business Research insight의 머신비전 시장의 딥 러닝 보고서에 따르면 2022부터 2028년까지의 머신 비전 딥 러닝 시장 규모는 연평균 54.4%의 성장률(CAGR)을 나타낼 것이라고 예상했습니다. 이러한 추세에 따라 제조업계에서는 딥 러닝(Deep Learning)을 활용하여 높은 해상도, 실시간 처리, 효율적인 학습 알고리즘을 통해 새로운 유형의 불량 탐지의 정확성을 높여 산업 내에서 경쟁력을 유지하고 신기술에 대한 요구를 해결할 수 있는 기대감이 점점 더 커지고 있습니다. 3. 딥러닝과 머신비전의 융합 활용 사례 딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템입니다. 머신비전업계에서 딥러닝은 CNN*(컨볼루션 신경망)과 딥 피드 포워드*(deep, feed-forward) 방식의 인공 신경망으로, 이미지를 분석하는 데 가장 널리 적용되고 있습니다. 컨볼루션 신경망(CNN)은 부품 분류, 검출, 결함 감지 등을 효과적으로 수행하기 때문에 제조업에서는 이 기술을 활용하여 자동적이고 정확한 제품 검사, 결함 감지, 및 품질 향상을 위한 머신 비전 시스템을 구축할 수 있습니다. *CNN(컨볼루션 신경망)은 주로 이미지 인식 및 패턴 인식에 사용되는 딥러닝의 한 유형으로 이미지 처리 작업에 특화되어 있다. *딥 피드 포워드(deep feedforward)는 깊이(depth)가 깊다는 딥과 정보가 한 방향으로만 흐르는(feed-forward)라는 뜻의 구조로 이 신경망이 여러 층으로 구성되어 있고 정보가 깊다는 의미. 그리고 더 나아가 딥 러닝 기술을 활용하여 이미지 분석 및 검사 분야에서 혁신적인 솔루션을 제공하는 기업들이 존재합니다. 그 예로 Eurerys가 딥 러닝 기술로 실시간으로 부품을 분류하고 결함을 탐지하는 기술을 제조 업계에 제공함으로써 생산 효율성을 향상하고 품질 표준을 유지하는 데 기여해왔습니다. | 딥 러닝과 머신 비전의 융합 적용사례: Euresys – Open eVision 라이브러리 “머신비전 산업에서 대표적인 이미지 분석 라이브러리” Euresys는 이미지 및 비디오 수집 구성 요소, 프레임 그래버, FPGA IP 코어 및 이미지 처리 소프트웨어를 설계하고 제공하는 선도적이고 혁신적인 하이테크 기업입니다 Euresys는 Open eVision은 머신 비전 검사 애플리케이션을 독립적인 이미지로 처리하고 분석하는 라이브러리입니다. - 프레임 그래버, GigE 비전 및 USB3 비전 카메라를 포함한 모든 이미지 소스 호환 - Deep Learning 및 3D 같은 최신 기술 지원 - 정확한 서브 픽셀 측정 및 보정 - 64-bit libraries for C++ and .NET (C#, VB.NET, C++/CLI) under Windows (x86-64) - Linux(x86-64 또는 ARMv8-A)용 64비트 라이브러리 Open eVision 기술은 딥 러닝 기술을 활용하여 안정적이면서도 변화하는 환경에 대응하여 다양한 조건이나 요구에 유연하게 대처하는 머신 비전 검사를 제공합니다. 특히 딥 러닝 기술을 활용한 라이브러리인 Deep Learning Bundle은 새로운 보조 세분화 도구를 통하여 픽셀 단위의 완벽한 주석을 얻는 빠르고 효율적인 방법을 제시합니다. 이는 보조 세분화 도구를 통해 이미지를 작은 부분으로 분할하여 각 부분의 특성을 분석한 후에 이미지의 각 픽셀에 주석을 달아 물체나 특징을 픽셀 수준에서 정확하게 식별하고 기록하여 작업을 신속하고 효율적으로 동작하는 방법을 제공한다는 의미입니다. Euresys의 Deep Learning Bundle은 특히 머신 비전 애플리케이션의 이미지 분석을 위해 맞춤화, 매개변수에 최적화된 기술입니다. 또한, Deep Learning Bundle은 데이터 증강(Data Augmentation) 기능을 활용하여 딥 러닝 신경망을 학시키는 방식으로 작동합니다. 다시 말해, 프로그램 가능한 한계 내에서 기존의 기준 이미지를 수정(예: 이동, 회전, 확대)하여 추가로 기준 이미지를 생성하는 '데이터 증강'을 구현합니다. 이로써 Deep Learning Bundle은 클래스 당 겨우 100개의 학습 이미지로도 효과적으로 작동할 수 있습니다. 데이터 증강(Data Augmentation) 따라서, Deep Learning Bundle은 Open eVision 라이브러리의 핵심 부분으로 데이터 증강과 보조 세분화 도구를 통해 이미지 주석을 신속하고 정확하게 수행하여 기술적 효율성과 성능을 향상시켜 머신 비전 검사 분야에서 안정적이고 유연한 솔루션을 제공합니다. 특히, Deep Learning Bundle은 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)과 같은 다양한 딥 러닝 솔루션을 통해 Open eVision 라이브러리의 핵심 부분으로서 기술적인 효율성과 성능을 높이고 있습니다. | Deep Learning Bundle이 제공하는 세가지 특징 및 적용사례 Deep Learning Bundle은 Open eVision 라이브러리의 일부이며 딥 러닝 라이브러리는 딥 러닝이 솔루션을 제공하는 세 가지 특정 기능, 즉 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)에 대응하는 소프트웨어 도구로 구성되어 있습니다. 1) Euresys Deep Learning Bundle의 분류 라이브러리: EasyClassify EasyClassify는 이미지 분류를 위한 Deep Learning의 분류 도구로, 불량 감지 및 제품 인식과 같은 작업에 사용됩니다. 이 도구는 소프트웨어 사용자가 초기에 머신비전 시스템을 통해 취득한 이미지에 라벨링 작업을 하면 그 후 EasyClassify가 딥 러닝 기술을 활용하여 주어진 이미지가 특정 클래스에 속할 확률을 계산하고, 이를 클래스로 할당합니다. 즉, 이미지가 학된 각 클래스에 속할 가능성을 확률로 제시해 줍니다. 사용자는 어떤 부품이 양호하고 어떤 부품이 불량하며 어떤 부품이 어떤 클래스에 속하는지만 알려주면 됩니다. 이 학습 프로세스 후에 EasyClassify 라이브러리가 이미지를 분류합니다. EasyClassify는 결함을 명확하게 규정하기 어려울 때 기존 머신 비전보다 더 성능이 뛰어납니다. 예를 들면, 다양한 스케일 및 위치에서 복잡한 모양과 텍스처에 따라 분류가 달라지는 경우가 여기에 해당합니다. 2) Euresys Deep Learning Bundle의 분할 라이브러리: EasySegment EasySegment은 개체 및 결함을 쉽게 분할할 수 있도록 설계된 Deep Learning Bundle의 분할 도구입니다. 이를 활용하여 결함이 포함된 부품을 식별하고 그 결함이 이미지의 어떤 위치에 있는지 정확하게 구분합니다. Euresys-EasySegment EasySegment는 이미지의 정상 및 비정상 결함을 감지하고, 결함이 없는 “우수한” 이미지만을 학습하는 무감독(비지도 학습) 모드와 결함 이미지를 분할하고 더 나은 분할과 "결함 감지"를 위해 결함 모델도 학습하는 감독(지도 학습) 모드가 존재합니다. EasySegment의 무감독(비지도 학습)과 감독(지도 학습) 적용 사례: 무감독 모드를 활용한 샘플 데이터 세트: 패브릭 결함 감지 무감독(비지도 학습) 모드: “패브릭” 샘플 데이터 세트는 어떻게 EasySegment의 무감독 모드를 사용하여 소수의 양호한 샘플만 학습하고 어떤 종류의 결함이 예상되는지 알려주지 않은 상태로 패브릭에서 결함을 감지 및 분할할 수 있는지를 보여줍니다. 감독 모드를 활용한 샘플 데이터 세트: 커피 이물질 감지 및 분할 감독(지도 학습) 모드: “커피” 샘플 데이터 세트는 어떻게 EasySegment의 감독 모드를 사용하여 이물질의 색상과 질감이 커피와 매우 유사한 경우에도생산 라인에서 이물질을 효율적으로 감지 및 분할할 수 있는지를 보여줍니다. 정리하자면, EasySegment의 무감독 모드는 양호한 샘플의 이미지만 학습하기 때문에, 결함의 유형을 알고 있지 않은 경우나, 결함 샘플이 준비되지 않는 경우에도 검사를 수행할 수 있습니다. 반면, EasySegment 감독 모드는 무감독 모드보다 더 나은 정확도를 달성하고 더 복잡한 결함을 분할할 수 있습니다. 또한 EasySegment를 무감독 모드로 돌려서 얻은 결과를 확인하고, 그 결과를 실제 데이터와 비교해서 필요한 부분을 가져와서 감독 모드를 위해 필요한 주석을 더 쉽게 달거나 편리하게 활용할 수 있습니다. 3) Euresys Deep Learning Bundle의 현지화 및 분류 라이브러리: EasyLocate EasyLocate는 딥 러닝 번들의 일부로, 사물의 위치를 찾아내고 식별하는 도구입니다. 주로 이미지에서 물체, 제품 또는 결함을 찾아내고 그것들을 구분하는 데 사용됩니다. 특히 EasyLocate는 이미지에 겹쳐 있는 물체를 식별할 수 있는 능력을 갖추고 있어, 해당 물체들의 개별적인 개수를 계산하는 데에도 활용될 수 있습니다. EasyLocate는 축 정렬 바운딩 박스와, 관심점 총 두 가지 방법을 사용하여 사물의 위치를 찾아낼 수 있습니다. 축 정렬 바운딩 박스를 이용한 샘플 데이터 첫 번째로는 “축 정렬 바운딩 박스” 방법으로 다양한 개체 및 크기에 정확한 주석 및 위치를 지정합니다. 이미지 속에서 찾은 각 개체(또는 결함)를 둘러싼 축 정렬 바운딩 박스를 만든 후 각각의 틀에 어떤 종류의 물체나 결함인지에 관한 클래스 레이블을 각 바운딩 박스에 할당합니다 위의 샘플 데이터처럼 "전자 부품" 데이터 세트는 EasyLocate 바운딩 박스가 열악한 조명 조건에서도 비닐봉지 안에 대량으로 보관된 다양한 종류의 전자 부품을 안정적으로 감지하고 계산할 수 있는 방법을 보여줍니다. 관심점을 이용한 샘플 데이터 두 번째는 관심점 방법으로 크기가 유사한 개체에 대한 빠른 단일 포인트로 주석 및 위치를 지정합니다. 즉, 이미지 속에서 크기가 비슷한 물체들을 예측하고 각 위치에 클래스 레이블을 할당하여 신속하게 하나의 지점으로 표시합니다. 단, 이 방법은 이미지의 모든 개체(또는 결함)의 크기가 비슷해야 합니다. 왼쪽의 샘플 데이터에서 보여지는 것처럼 “세라믹 커패시터 데이터 시트”는 EasyLocate 관심점이 서로 겹치거나 접촉하는 많은 세라믹 커패시터를 안정적으로 감지하고 정확하게 계산할 수 있는 방법을 보여줍니다. EasyLocate 관심점을 사용하면 한 번의 클릭으로 개체에 주석을 추가할 수 있으므로 주석 처리가 더 빨라집니다. 현재 Euresys의 Deep Learning Bundle의 EasyClassify / EasySegment / EasyLocate 툴은 표식 검사나 LED 검사가 필요한 전자제품 제조 산업에서 활용하고 있으며 일반 제조 산업용에서도 존재 여부 검사, 표면 분석, 어셈블리 검사, 레이블 인쇄 기계의 코드 품질 검증 등에 머신 비전 솔루션을 제공하고 있습니다. 앞으로 자동화 산업에서 성공적인 어플리케이션 구현에 있어 이미지 데이터 관리의 중요성은 더욱 강조될 것 입니다. 4. 딥 러닝 머신비전 솔루션, 제조산업의 자동화를 혁신하다 | Conclusion 머신 비전은 많은 이점을 제공하지만 이미지 품질에 영향을 미치는 일관되지 않은 조명 조건 및 실시간 처리에 대한 강력한 계산 능력과 같은 도전에 직면하고 있습니다. 또한 다양한 장치와의 상호 운용성 및 통합을 보장하기 위한 계속된 개발이 필요합니다. 따라서 인공 지능과 머신 비전의 융합은 머신 비전 업계에서 운영 효율성에서 중요한 전환을 의미합니다. 이차전지 제조과정에서는 2.5D 알고리즘과 LED 광학계 조명을 적용하여 영상처리 및 전처리 알고리즘이 강조되고 있습니다. 제조 산업이 계속해서 디지털 혁신을 수용함에 따라 비전 검사에서 딥 러닝의 역할이 진화하고 있습니다. 이러한 발전으로 제품 품질, 운영 효율성, 그리고 전반적인 경쟁력이 향상될 것으로 예상됩니다. 머신 비전을 적용한 다양한 솔루션은 산업 자동화와 스마트 제조 분야에서 주요 요소로 인식되어 제품 품질 향상과 생산 공정 효율화에 기여하고 있습니다. 뿐만 아니라 이차전지, 제약, 의료, 바이오 분야에서도 딥 러닝을 활용한 머신 비전 솔루션이 도입되고 있습니다. 마지막으로 식품 검사 및 분류를 위한 머신 비전은 특히 두드러지게 늘어나고 있습니다. 특히 패키징 공정에서는 딥 러닝을 기반으로 한 솔루션을 활용하여 제품 결합 여부를 확인하고 제품 누출을 방지하며 배송 지연을 예방할 수 있습니다. 물류 자동화의 핵심 기술인 AGV(무인운송로봇) 및 AMR(자율이동로봇)과 같은 로봇에도 머신 비전 솔루션이 도입되어, 로봇이 물건을 감지하고 이동하는 데 도움이 됩니다. 그러므로 머신 비전 자동화에 대한 딥 러닝 기술의 활용은 로봇 공학, 자율 주행 차량, 그리고 스마트 제조 분야에서 계속해서 증가할 것으로 전망됩니다. Euresys의 Deep Learning Bundle에 관한 자세한 내용을 알고 싶으시다면 화인스텍 홈페이지에서 확인해보시기를 바랍니다! 참고 자료: 유레시스 홈페이지 지티티코리아(https://www.gttkorea.com) 인더스트리뉴(https://www.industrynews.co.kr/news/articleView.html?idxno=49846)
2024.01.08임베디드 비전 구성품은 수많은 어플리케이션에 통합되고 있습니다. 이러한 모든 어플리케이션의 공통점은 더 많은 기능을 컴팩트하게 통합해야 한다는 것입니다. Teledyne FLIR는 이러한 시스템을 신속하게 프로토타입화 할 수 있는 TX2용 Quartet™ Embedded 솔루션을 도입했습니다. 이 커스텀 캐리어 보드를 사용하면 전체 대역폭에서 최대 4대의 USB3 머신 비전 카메라를 쉽게 통합할 수 있습니다. 이 보드는 NVidia Jetson 딥러닝 하드웨어 가속기가 포함되어 있으며, Teledyne FLIR의 Spinnaker® SDK가 사전 설치되어 있습니다. 검사, 모바일 로봇, 교통 시스템 및 다양한 유형의 무인 차량과 같은 시스템을 현장에서 구현하는 것은 큰 장점이 될 수 있습니다. 그림 1: 4가지 어플리케이션에 적용된 프로토타입 이 글에서는 Quartet 보드로 무엇을 할 수 있는지 강조하기 위해 동시에 4개의 어플리케이션을 실행하는 ITS(교통 시스템)를 개발하는 단계를 소개해드리겠습니다. 그 중 3개는 딥 러닝을 사용합니다. 어플리케이션1: 딥 러닝을 이용한 번호판 인식 어플리케이션2: 딥 러닝을 이용한 차량 유형 분류 어플리케이션3: 딥 러닝을 이용한 차량 색상 분류 어플리케이션4: 앞 유리창 투과(빛 반사 상황) 구매 목록: 하드웨어 및 소프트웨어 구성품 1. 프로세싱을 위한 SOM(System on Module) TX2용 Teledyne FLIR Quartet 캐리어 보드에는 다음과 같이 구성되어있습니다. - 전용 USB3 컨트롤러가 있는 TF38 커넥터 4개 - Nvidia Jetson TX2 모듈 -Teledyne FLIR의 강력하고 사용하기 쉬운 Spinnaker SDK가 사전 설치되어 Teledyne FLIR Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성 보장 - Nvidia Jetson 딥 러닝 하드웨어 가속기는 단일 컴팩트 보드에서 완전한 의사 결정 시스템을 가능하게 함 그림 2: Blackfly S board level, FPC cable, TX2가 포함된 Quartet 임베디드 솔루션 2. 카메라 및 케이블 - Teledyne FLIR Blackfly S USB3 보드 레벨 카메라 3대: 최신 CMOS 센서가 적용되어 있고, 케이스 버전과 동일하게 풍부한 기능을 지원하며 Quartet과의 호환성이 높음 - 커스텀 카메라 1대: Sony IMX250MZR 편광 센서가 탑재된 Blackfly S USB3 보드 레벨 카메라 - 케이블: TF38 FPC 케이블로 전력 및 데이터를 단일 케이블로 전송하여 공간 절약 그림 3: FPC 케이블이 연결된 Blackfly S 보드 레벨 카메라 3. 조명 : 번호판의 모션 블러를 방지하기 위해 충분한 광량을 제공하는 LED 조명 3.1 - 어플리케이션1 딥 러닝을 이용한 번호판 인식 개발 시간: 견고하고 빠른 실행을 위해 2-3주 소요 학습 이미지: LPDNet 사용 번호판 인식을 위해 Nvidia의 기성품인 LPDNet(License Plate Detection) 딥 러닝 모델을 사용하여 번호판의 위치를 ??감지했습니다. 그리고 문자와 숫자를 인식하기 위해 Tesseract 오픈 소스 OCR 엔진을 사용 했고 카메라는 Sony IMX267 센서가 탑재된 Blackfly S 보드 레벨 8.9MP 컬러 카메라(BFS-U3-88S6C-BD)를 사용 중입니다. 성능 및 속도를 높이기 위해 번호판 감지에 대한 관심 영역(ROI)을 제한하고, 견고성을 향상시키기 위해 추적(Tracking)을 적용했습니다. 해당 번호판의 문자와 번호판에 바운딩 박스가 표시됩니다.. 그림 4: 번호판의 문자 및 번호판에 바운딩 박스가 표시되는 영상 3.2 - 어플리케이션2 딥 러닝을 이용한 차량 유형 분류 개발 시간: 이미지 수집 및 어노테이션(Annotation)을 포함하여 최대 12시간 학습 이미지: ~300 차량 유형 분류를 위해 전이 학습(Transfer learning)을 사용하여 SUV, 세단 및 트럭과 같은 세 가지 장난감 자동차에 대해 자체 딥 러닝 객체 감지 모델을 학습했습니다. 다양한 거리와 각도에서 촬영한 약 300개의 트레이닝 이미지를 수집했고 카메라는 Sony IMX250 센서가 탑재된 Blackfly S 보드 레벨 5MP 컬러 카메라(BFS-U3-51S5C-BD2)를 사용 중 입니다. 장난감 자동차의 바운딩 박스에 어노테이션을 추가하는데 약 3시간이 소요됐습니다. 자체 SSD MobileNet 객체 감지 모델을 트레이닝하기 위해 전이 학습을 수행했으며, Nvidia GTX1080 Ti GPU에서 반나절 정도 소요됐습니다. GPU 하드웨어 가속기를 통해 Jetson TX2 모듈은 딥 러닝 추론을 효율적으로 수행하고 해당 차량 유형과 함께 자동차에 바운딩 박스를 출력할 수 있습니다. 그림 5: 바운딩 박스와 사전 설정된 차량 유형, 식별된 신뢰도 점수가 표시되는 영상 3.3 - 어플리케이션3 딥 러닝을 이용한 색상 분류 개발 시간: 색상 분류, 통합 및 테스트를 위해 ‘차량 유형 어플리케이션’ 모델을 재사용하여 2일 추가 소요 학습 이미지: ‘차량 유형 어플리케이션’과 동일한 300개 이미지 재사용 차량 색상 분류를 위해 위와 동일한 딥 러닝 객체 감지 모델을 실행하여 차량을 감지하고, 바운딩 박스에 대한 이미지 분석을 통해 색상을 분류했습니다. 해당 차량 색상과 함께 자동차에 바운딩 박스가 표시됩니다. 카메라는 Sony IMX252 센서가 탑재된 Blackfly S 보드 레벨 3MP 컬러 카메라(BFS-U3-32S4C-BD2)를 사용 중 입니다. 그림 6: 바운딩 박스 및 미리 설정된 색상 유형이 식별된 영상 3.4 - 어플리케이션4 앞 유리창 투과(빛 반사 상황) 앞 유리를 통해 HOV차선을 모니터링하고 안전 벨트 착용 여부를 확인하고 심지어 운전 중 휴대폰 사용 여부까지 확인하는 등 교통 관련 어플리케이션에 빛 반사 제거 기능은 매우 중요합니다. 이를 위해 Blackfly S USB3 보드 레벨 카메라와 5MP Sony IMX250MZR 편광 센서를 결합하여 커스텀 카메라를 만들었습니다. 이 보드 레벨 편광 카메라는 표준 제품이 아니지만, Teledyne FLIR에서는 다양한 센서를 쉽게 교체하여 커스텀 카메라 옵션 제공이 가능하여 빛 반사 제거 기능을 보여주는 커스텀 카메라 옵션을 제공하였습니다. 고정된 장난감 자동차의 빛 반사 감소를 보여주기 위해 쿼드 모드(Quad mode), 빛 반사 감소 모드와 같은 다양한 "편광 알고리즘" 옵션을 제공하는 Teledyne FLIR의 SpinView GUI를 통해 카메라 이미지를 간단히 스트리밍했습니다. 그림 7: Spinnaker SDK는 쿼드 모드, 빛 반사 감소 모드와 같은 다양한 “편광 알고리즘” 옵션을 제공하여 고정된 장난감 자동차의 빛 반사 감소를 보여줍니다. 쿼드 모드는 4개의 서로 다른 편광 각도에 해당하는 이미지를 보여줍니다. 전반적인 시스템 최적화 4개의 각 프로토타입은 독립적으로는 잘 작동하지만, 모든 딥 러닝 모델이 동시에 실행될 때 전반적인 성능이 상당히 좋지 않다는 것을 알았습니다. Nvidia의 TensorRT SDK는 Jetson TX2 모듈과 같은 Nvidia 하드웨어용 딥 러닝 추론 옵티마이저(Inference optimizer) 및 런타임을 제공합니다. 이 TensorRT SDK를 사용하여 딥 러닝 모델을 최적화하여 성능이 약 10배 향상되었습니다. 그리고 모든 어플리케이션이 실행 중일 때 발열이 심해 TX2 모듈에 방열판을 부착했습니다. 결과적으로 차량 유형 식별에서 14fps, 차량 색상 분류에서 9fps, 자동 번호판 인식에서 4fps 그리고 편광 카메라에서 8fps까지 4가지 어플리케이션을 모두 실행할 때 좋은 프레임 속도를 달성했습니다. Quartet Embedded Solution 및 Blackfly S 보드 레벨 카메라의 사용 용이성과 신뢰성 덕분에 비교적 짧은 시간 내에 프로토타입 개발을 완료하였습니다. Spinnaker SDK가 사전 설치된 TX2 모듈은 TF38 연결을 통해 전체 USB3 대역폭에서 안정적으로 스트리밍할 수 있는 모든 Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성을 보장합니다. Nvidia는 TX2 모듈에서 개발 및 최적화를 용이하게 하는 많은 툴을 제공합니다. Quartet은 이제 flir.com은 물론 flir.com 사무실과 글로벌 대리점들을 통해 구매하실 수 있습니다. 제품 링크 : Blackfly S 보드 레벨 카메라 : http://www.fainstec.com/main/search.asp?schStr=BD2 Blackfly S 편광 카메라 케이스 버전 : http://www.fainstec.com/main/search.asp?schStr=51S5P-C Quartet보드: http://www.fainstec.com/main/search.asp?cate=%EB%B3%B4%EB%93%9C&o_idx=125&schStr=Quartet
2022.09.16