총 4 건
임베디드 비전 구성품은 수많은 어플리케이션에 통합되고 있습니다. 이러한 모든 어플리케이션의 공통점은 더 많은 기능을 컴팩트하게 통합해야 한다는 것입니다. Teledyne FLIR는 이러한 시스템을 신속하게 프로토타입화 할 수 있는 TX2용 Quartet™ Embedded 솔루션을 도입했습니다. 이 커스텀 캐리어 보드를 사용하면 전체 대역폭에서 최대 4대의 USB3 머신 비전 카메라를 쉽게 통합할 수 있습니다. 이 보드는 NVidia Jetson 딥러닝 하드웨어 가속기가 포함되어 있으며, Teledyne FLIR의 Spinnaker® SDK가 사전 설치되어 있습니다. 검사, 모바일 로봇, 교통 시스템 및 다양한 유형의 무인 차량과 같은 시스템을 현장에서 구현하는 것은 큰 장점이 될 수 있습니다. 그림 1: 4가지 어플리케이션에 적용된 프로토타입 이 글에서는 Quartet 보드로 무엇을 할 수 있는지 강조하기 위해 동시에 4개의 어플리케이션을 실행하는 ITS(교통 시스템)를 개발하는 단계를 소개해드리겠습니다. 그 중 3개는 딥 러닝을 사용합니다. 어플리케이션1: 딥 러닝을 이용한 번호판 인식 어플리케이션2: 딥 러닝을 이용한 차량 유형 분류 어플리케이션3: 딥 러닝을 이용한 차량 색상 분류 어플리케이션4: 앞 유리창 투과(빛 반사 상황) 구매 목록: 하드웨어 및 소프트웨어 구성품 1. 프로세싱을 위한 SOM(System on Module) TX2용 Teledyne FLIR Quartet 캐리어 보드에는 다음과 같이 구성되어있습니다. - 전용 USB3 컨트롤러가 있는 TF38 커넥터 4개 - Nvidia Jetson TX2 모듈 -Teledyne FLIR의 강력하고 사용하기 쉬운 Spinnaker SDK가 사전 설치되어 Teledyne FLIR Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성 보장 - Nvidia Jetson 딥 러닝 하드웨어 가속기는 단일 컴팩트 보드에서 완전한 의사 결정 시스템을 가능하게 함 그림 2: Blackfly S board level, FPC cable, TX2가 포함된 Quartet 임베디드 솔루션 2. 카메라 및 케이블 - Teledyne FLIR Blackfly S USB3 보드 레벨 카메라 3대: 최신 CMOS 센서가 적용되어 있고, 케이스 버전과 동일하게 풍부한 기능을 지원하며 Quartet과의 호환성이 높음 - 커스텀 카메라 1대: Sony IMX250MZR 편광 센서가 탑재된 Blackfly S USB3 보드 레벨 카메라 - 케이블: TF38 FPC 케이블로 전력 및 데이터를 단일 케이블로 전송하여 공간 절약 그림 3: FPC 케이블이 연결된 Blackfly S 보드 레벨 카메라 3. 조명 : 번호판의 모션 블러를 방지하기 위해 충분한 광량을 제공하는 LED 조명 3.1 - 어플리케이션1 딥 러닝을 이용한 번호판 인식 개발 시간: 견고하고 빠른 실행을 위해 2-3주 소요 학습 이미지: LPDNet 사용 번호판 인식을 위해 Nvidia의 기성품인 LPDNet(License Plate Detection) 딥 러닝 모델을 사용하여 번호판의 위치를 ??감지했습니다. 그리고 문자와 숫자를 인식하기 위해 Tesseract 오픈 소스 OCR 엔진을 사용 했고 카메라는 Sony IMX267 센서가 탑재된 Blackfly S 보드 레벨 8.9MP 컬러 카메라(BFS-U3-88S6C-BD)를 사용 중입니다. 성능 및 속도를 높이기 위해 번호판 감지에 대한 관심 영역(ROI)을 제한하고, 견고성을 향상시키기 위해 추적(Tracking)을 적용했습니다. 해당 번호판의 문자와 번호판에 바운딩 박스가 표시됩니다.. 그림 4: 번호판의 문자 및 번호판에 바운딩 박스가 표시되는 영상 3.2 - 어플리케이션2 딥 러닝을 이용한 차량 유형 분류 개발 시간: 이미지 수집 및 어노테이션(Annotation)을 포함하여 최대 12시간 학습 이미지: ~300 차량 유형 분류를 위해 전이 학습(Transfer learning)을 사용하여 SUV, 세단 및 트럭과 같은 세 가지 장난감 자동차에 대해 자체 딥 러닝 객체 감지 모델을 학습했습니다. 다양한 거리와 각도에서 촬영한 약 300개의 트레이닝 이미지를 수집했고 카메라는 Sony IMX250 센서가 탑재된 Blackfly S 보드 레벨 5MP 컬러 카메라(BFS-U3-51S5C-BD2)를 사용 중 입니다. 장난감 자동차의 바운딩 박스에 어노테이션을 추가하는데 약 3시간이 소요됐습니다. 자체 SSD MobileNet 객체 감지 모델을 트레이닝하기 위해 전이 학습을 수행했으며, Nvidia GTX1080 Ti GPU에서 반나절 정도 소요됐습니다. GPU 하드웨어 가속기를 통해 Jetson TX2 모듈은 딥 러닝 추론을 효율적으로 수행하고 해당 차량 유형과 함께 자동차에 바운딩 박스를 출력할 수 있습니다. 그림 5: 바운딩 박스와 사전 설정된 차량 유형, 식별된 신뢰도 점수가 표시되는 영상 3.3 - 어플리케이션3 딥 러닝을 이용한 색상 분류 개발 시간: 색상 분류, 통합 및 테스트를 위해 ‘차량 유형 어플리케이션’ 모델을 재사용하여 2일 추가 소요 학습 이미지: ‘차량 유형 어플리케이션’과 동일한 300개 이미지 재사용 차량 색상 분류를 위해 위와 동일한 딥 러닝 객체 감지 모델을 실행하여 차량을 감지하고, 바운딩 박스에 대한 이미지 분석을 통해 색상을 분류했습니다. 해당 차량 색상과 함께 자동차에 바운딩 박스가 표시됩니다. 카메라는 Sony IMX252 센서가 탑재된 Blackfly S 보드 레벨 3MP 컬러 카메라(BFS-U3-32S4C-BD2)를 사용 중 입니다. 그림 6: 바운딩 박스 및 미리 설정된 색상 유형이 식별된 영상 3.4 - 어플리케이션4 앞 유리창 투과(빛 반사 상황) 앞 유리를 통해 HOV차선을 모니터링하고 안전 벨트 착용 여부를 확인하고 심지어 운전 중 휴대폰 사용 여부까지 확인하는 등 교통 관련 어플리케이션에 빛 반사 제거 기능은 매우 중요합니다. 이를 위해 Blackfly S USB3 보드 레벨 카메라와 5MP Sony IMX250MZR 편광 센서를 결합하여 커스텀 카메라를 만들었습니다. 이 보드 레벨 편광 카메라는 표준 제품이 아니지만, Teledyne FLIR에서는 다양한 센서를 쉽게 교체하여 커스텀 카메라 옵션 제공이 가능하여 빛 반사 제거 기능을 보여주는 커스텀 카메라 옵션을 제공하였습니다. 고정된 장난감 자동차의 빛 반사 감소를 보여주기 위해 쿼드 모드(Quad mode), 빛 반사 감소 모드와 같은 다양한 "편광 알고리즘" 옵션을 제공하는 Teledyne FLIR의 SpinView GUI를 통해 카메라 이미지를 간단히 스트리밍했습니다. 그림 7: Spinnaker SDK는 쿼드 모드, 빛 반사 감소 모드와 같은 다양한 “편광 알고리즘” 옵션을 제공하여 고정된 장난감 자동차의 빛 반사 감소를 보여줍니다. 쿼드 모드는 4개의 서로 다른 편광 각도에 해당하는 이미지를 보여줍니다. 전반적인 시스템 최적화 4개의 각 프로토타입은 독립적으로는 잘 작동하지만, 모든 딥 러닝 모델이 동시에 실행될 때 전반적인 성능이 상당히 좋지 않다는 것을 알았습니다. Nvidia의 TensorRT SDK는 Jetson TX2 모듈과 같은 Nvidia 하드웨어용 딥 러닝 추론 옵티마이저(Inference optimizer) 및 런타임을 제공합니다. 이 TensorRT SDK를 사용하여 딥 러닝 모델을 최적화하여 성능이 약 10배 향상되었습니다. 그리고 모든 어플리케이션이 실행 중일 때 발열이 심해 TX2 모듈에 방열판을 부착했습니다. 결과적으로 차량 유형 식별에서 14fps, 차량 색상 분류에서 9fps, 자동 번호판 인식에서 4fps 그리고 편광 카메라에서 8fps까지 4가지 어플리케이션을 모두 실행할 때 좋은 프레임 속도를 달성했습니다. Quartet Embedded Solution 및 Blackfly S 보드 레벨 카메라의 사용 용이성과 신뢰성 덕분에 비교적 짧은 시간 내에 프로토타입 개발을 완료하였습니다. Spinnaker SDK가 사전 설치된 TX2 모듈은 TF38 연결을 통해 전체 USB3 대역폭에서 안정적으로 스트리밍할 수 있는 모든 Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성을 보장합니다. Nvidia는 TX2 모듈에서 개발 및 최적화를 용이하게 하는 많은 툴을 제공합니다. Quartet은 이제 flir.com은 물론 flir.com 사무실과 글로벌 대리점들을 통해 구매하실 수 있습니다. 제품 링크 : Blackfly S 보드 레벨 카메라 : http://www.fainstec.com/main/search.asp?schStr=BD2 Blackfly S 편광 카메라 케이스 버전 : http://www.fainstec.com/main/search.asp?schStr=51S5P-C Quartet보드: http://www.fainstec.com/main/search.asp?cate=%EB%B3%B4%EB%93%9C&o_idx=125&schStr=Quartet
2022.09.16머신비전 USB 인터페이스 머신비전 카메라 인터페이스의 종류 머신비전 카메라 인터페이스의 발전 머신비전 카메라 인터페이스의 선택은 장비를 구성함에 있어서 매우 중요합니다. 머신비전 장비는 더 높은 검사정도와 더 빠른 검사를 하기 위해 진화합니다. 그렇기 때문에 이미지 센서 또한 더 높은 해상도와 더 빠른 속도로 발전해 왔으며, 넓은 대역폭의 데이터를 안정적으로 전송하기 위해 새로운 인터페이스를 머신비전 시스템에 도입하게 되었습니다. 인터페이스 별 비교 그래프 아래 머신비전 인터페이스 비교표를 참고하면 수치를 통해 비교할 수 있습니다. 인터페이스 규격 대역폭 케이블 길이 전원공급 보드 CoaxPress CXP-3 / 1-lane 기준 3.125 Gbit/s (325MB/s)* 100m 가능 (POCXP) 필요 CXP-6 / 1-lane 기준 6.25 Gbit/s (625 MB/s)* 75m 가능 (POCXP) CXP-12 / 1-lane 기준 12.5 Gbit/s (1,250 MB/s)* 30m 가능 (POCXP) Camera Link Base 2.04 Gbit/s (255 MB/s) 7m 가능 (POCL) Midium 4.08 Gbit/s (510 MB/s) 5m 가능 (POCL) Full 5.44 Gbit/s (680 MB/s) 5m 가능 (POCL) Full Deca 6.8 Gbit/s (850 MB/s) 5m 가능 (POCL) USB USB 2.0 480Mbit/s (60MB/s) 5m 가능 USB 3.2 Gen1 5 Gbit/s (625MB/s) 5m 가능 USB 3.2 Gen2 10 Gbit/s (1,250MB/s) 5m 가능 GigE GigE 1 Gbit/s (125MB/s) 100m 가능 (POE) 5 GigE 5 Gbit/s (625MB/s) 100m 가능 (POE) 10 GigE 10 Gbit/s (1,250MB/s) 37m 미지원 머신비전 카메라 인터페이스의 종류 머신비전 카메라 인터페이스는 아날로그부터 광 케이블 까지 다양합니다. 검사할 때 필요한 카메라 해상도, 검사 속도에 따라 인터페이스를 정해야 합니다. 위 그래프에서 보는 것과 같이 데이터량이 많이 필요한 경우에는 10GigE, CoaXPress, USB 3.2 Gen2가 유리합니다. 현재까지 머신비전 시장에서 많이 쓰인 인터페이스는 CameraLink 이지만, 의료장비와 같이 소형일 경우에는 가격 대비 성능이 높은 USB 인터페이스를 추천합니다. 케이블 길이의 장점과 구성품의 가격, 편의성을 생각하신다면 GigE 인터페이스를 선택 하는 것이 좋습니다. USB 인터페이스 사용하기 쉬운 머신비전 인터페이스라면 단연 USB 인터페이스 일 것입니다. Plug and Play 인터페이스는 1996년부터 사용되었고 지금까지 상당히 개선되었습니다. USB3Vision의 진화는 Gigabit 속도를 달성하기 위해 발전해 왔으며, USB3 버전도 USB3.0, USB3.1 Gen 1, USB 3.1 Gen2로 여러번 변경되었습니다. USB2.0의 전송대역폭 480Mbps는 USB 3.1 Gen2 에서는 10Gbps까지 향상되었습니다. 화인스텍의 파트너사 SENTECH, FLIR, JAI에서도 25메가 이하 USB 카메라의 라인업은 탄탄하게 구성되어 있습니다. USB3 표준인 USB3 Type-B와 USB3 Micro-B는 최대 10미터 길이의 케이블로 사용할 수 있지만 머신비전 업계에서는 5미터 이상 사용은 보증하지 않습니다. 케이블을 5미터보다 길게 사용하려면, 리피터 또는 광컨버터를 사용해야 합니다 USB 인터페이스의 장점으로는 카메라의 전원을 데이터 케이블로 공급 받는 것과 여러가지 전자제품의 표준 인터페이스이기 때문에 멀티 USB 허브와 케이블 등 주변 구성품을 쉽게 구입할 수 있고, 다른 인터페이스 대비 가격이 저렴합니다. USB 버전별 속도 차이 USB3버전 명칭의 변경 USB3.0 버전의 명칭은 재정의 되었습니다. 2021. 02. 10 기준으로 정의된 명칭이며, 이전 USB3.0, USB3.1 Gen1은 USB 3.2 Gen1으로 USB3.1, USB3.1 Gen2는 USB 3.2 Gen2로 통합 되었습니다. 아래 화인스텍에서 취급하는 여러제품을 확인해 보세요. 머신비전 USB 인터페이스 제품 안내 제조사 종류 시리즈 JAI Area Scan Camera GOX USB Series SENTECH Area Scan Camera Sentech USB Camera FLIR Area Scan Camera Fire Fly S Series 동일기연 Barcode Reader DP, SR Series IOI USB Card / HUB USB PCIe 머신비전 전문가 화인스텍과 상담하세요. 애플리케이션 요구사항에 맞춰 완벽한 솔루션을 찾아드립니다.
2022.07.19안녕하세요? 화인스텍 마케팅 팀 입니다. 머신비전 추천 기업 화인스텍 블로그를 찾아주셔서 감사합니다. 요즘 머신비전 시장에서 가장 인기 있는 카메라가 아닐 까 싶을 정도로 많은 문의가 있는데요? 어떤 카메라 인지 알아보겠습니다. IMX253, IMX304 센서 스펙은 12Mega Global Shutter Sony Sensor 이며, 셀 사이즈는 3.45um 입니다. 센서사이즈는 1.1인치로 C-mount 에서 사용할 수 있는 최대 사이즈 입니다. 센서 사이즈 렌즈 선택시 이미지 서클이 문제 없는지 확인 후 선택하셔야 합니다. 인터페이스는 Camera Link, USB Vision, GIGE(POE) 형태로 많은 제조사에서 출시하였습니다. 12메가 머신비전 카메라(IMX253, IMX304,글로벌셔터)의 경우 화인스텍에서 취급하는 제품은 아래와 같습니다. IMX253, IMX304 센서의 경우 SONY Pregius 2세대 센서로 3.45um 셀 사이즈를 갖고 있으며, 얼라인 장비( Align inspection)기존 5메가 카메라의 고해상도 대체용으로 많이 팔려나가기 시작했고, 2차전지 장비업체, 모바일 디스플레이 장비에서 인기가 많습니다. 머신비전 카메라 모델, 인터페이스 및 제조사에 따라 같은 센서를 사용하라도 가격차이가 많이 나기 때문에 저희 화인스텍에 문의주시면 가장 적합한 카메라로 소개해 드리도록 하겠습니다. 모델 센서 CCD/ CMOS Mono /Color 메가 해상도 센서사이즈 셀사이즈 프레임 STC-SPC123BPCL IMX253 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 66.9 STC-SPC122BPCL IMX304 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 15 STC-SPB123BPCL IMX253 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 66.9 STC-SPB122BPCL IMX304 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 15 STC-MCS123BU3V IMX253 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30.5 STC-MCS122BU3V IMX304 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 23.4 STC-MBS123BU3V IMX253 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30.5 STC-MBS122BU3V IMX304 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 23.4 SP-12401M-USB IMX304 CMOS Mono 12.3 4112 x 3008 14.2 x 10.4 3.45 x 3.45 23.4 SP-12401M-PGE IMX304 CMOS Mono 12.3 4112 x 3008 14.2 x 10.4 3.45 x 3.45 9.3 SP-12401C-USB IMX304 CMOS Color 12.3 4088 x 3000 14.2 x 10.4 3.45 x 3.45 23.4 SP-12401C-PGE IMX304 CMOS Color 12.3 4112 x 3008 14.2 x 10.4 3.45 x 3.45 9.3 SP-12400M-PMCL IMX253 CMOS Mono 12.4 4112 x 3008 14.18 x 10.37 3.45 x 3.45 64.6 SP-12400C-PMCL IMX253 CMOS Color 12.4 4112 x 3008 14.2 x 10.4 3.45 x 3.45 64.6 ORX-10G-123S6M-C IMX253 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 68 ORX-10G-123S6C-C IMX253 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 68 GS3-U3-123S6M-C IMX253 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30 GS3-U3-123S6C-C IMX253 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30 BFS-U3-123S6M-C IMX253 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30 BFS-U3-123S6C-C IMX253 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 30 BFS-U3-122S6M-C IMX304 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 23 BFS-U3-122S6C-C IMX304 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 23 BFS-PGE-122S6M-C IMX304 CMOS Mono 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 8 BFS-PGE-122S6C-C IMX304 CMOS Color 12.3 4096 x 3000 14.13 x 10.35 3.45 x 3.45 8 IMX253 센서와 IMX304센서의 차이는 센서 자체의 속도 차이 입니다 해상도나 셀사이즈등 기본사이즈는 동일하고 같은 제조사일 경우 같은 인터페이스일 경우 외형도 크게 다르지 않습니다. ^^ 그럼 이번 포스팅은 마치겠습니다.
2022.07.11Polarrized Camera 안녕하세요 화인스텍 마케팅팀입니다. 화인스텍 블로그를 찾아주셔서 감사합니다. 편광카메라 (Polarized Camera)에 대해서 알아볼 텐데요 생소하면서도 알 것 같은 카메라 지금 바로 시작하겠습니다. Part 1. 편광 카메라(Polarized Camera) 1. 편광 개념 이해 편광[Polarization (of Light)]은 말 그대로 빛(Light)을 분극화(Polarization) 시키는 것입니다. 분극화란 극성을 분리시키는 것을 뜻하는데, 이러한 말이 나온 이유는 빛(광)에 극성(방향성)이 있기 때문입니다. 광은 전기장과, 전기장에 직각으로 구성된 자기장으로 이루어져 있습니다. 그리고 이러한 광의 극성 중 원하는 극성만을 구별(Polarize 혹은 Filter)'하여 특정한 극성의 광 성분만을 수신하기로 하는 것이 바로 '편광'입니다. 쉽게 이야기하면 여러 방향에서 들어오는 빛을 펴준다 라고 생각하시면 됩니다. 이러한 편광에 대한 예를 들어보면 다음과 같습니다. <사진 2> 편광필터 적용 전 사진(왼), 편광필터 적용 후 사진(오) <사진 2>의 왼쪽 이미지는 편광 필터를 적용하기 전의 이미지이고, <사진 2>의 오른쪽 이미지는 편광 필터를 적용한 후의 이미지입니다. 이 이미지를 촬상 하는 데에 있어서 목적은 물의 난반사(특정한 각도로 들어오는 빛)를 제거하는 것이었고, 그것을 위해서 편광 필터를 적용한 것입니다. 이와 같이 편광의 개념은 특정한 각도의 빛을 구별시켜 필터 해주는 것입니다. 2. 편광 카메라 센서(Polarized Camera Sensor)의 구조 현재 화인스텍에서 취급하는 편광카메라 (Polarized Camera)는 JAI의 GO-5100MP-USB와 FLIR의 BFS-PGE-51S5P-C가 있습니다. 이 카메라는 모두 SONY의 IMX250MZR(모노 선형 편광 센서) 센서가 탑재되어 있습니다. 이 센서는 CMOS 센서로서 와이어 그리드 편광 원리를 채택하고 있으며, 3.45um의 픽셀 4개마다 0, 45, 90, 135도 방향 선형 편광 필터 4개를 사용하는 2464 x 2056 글로벌 셔터 센서입니다. 이 센서의 구조는 다음과 같습니다. <그림 3> Polarizer Sensor 위쪽부터 90도, 45도로 홀수 라인이 구성되고, 135도, 0도로 짝수 라인이 구성됩니다. 예를 들어 90도 이미지만을 취득하겠다고 하면 각도 하나당 하나의 픽셀(pixel)이기 때문에 가로 세로로 한 칸씩 건너뛰고 이미지를 가져오게 되는데 그렇게 되면서 해상도가 1/4이 됩니다. 편광카메라 (Polarized Camera)5메가(5mega)라고 하지만 실제로 5메가(5mega) 영상을 사용할 수는 없습니다. <그림 4> Polarizer Sensor <그림 4>와 같이 마이크로 렌즈 아래 폴라 아이져 그리고 빛을 담는 포토다이오드가 있습니다. <그림 5> Polarizer Sensor 편광카메라 (Polarized Camera)를 사용하는 것이 외부에 필터를 끼우는 방식보다 더 좋은 이유는 <그림 5> 와 같이 다른 각도의 빛이 유입되는 것을 완전히 차단할 수 있기 때문입니다.
2022.05.19