총 4 건
안녕하세요. 화인스텍입니다. 머신비전은 카메라, 렌즈, 조명, 소프트웨어, 프레임그래버 등으로 구성된 시스템으로, 사람이 눈으로 보고 판단하는 작업을 빠르고 정밀하게 수행합니다. 이전 게시물에서는 머신비전 시스템의 구성 요소와 각각의 역할 및 중요성에 대해 알아보았었는데요 오늘은 머신비전에서 자주 사용하는 용어들에 대해 알아보겠습니다. A부터Z까지, 화인스텍과 함께 머신비전 용어의 세계로 들어가 보시죠! AI [Artificial Intelligence, 인공지능] 인간의 지적 능력을 컴퓨터로 구현하는 과학 기술 상황을 인지하고 이성적·논리적으로 판단·행동하며, 감성적·창의적인 기능을 수행하는 능력까지 포함 Airy Disk and Resolving Power Airy Disk : 렌즈에서 얻을 수 있는 가장 작은 지점 Resolving Power : 서로 가까이 있는 두 지점을 분해하는 기기의 능력 * 수치가 없는 이상적인 렌즈라도 물체의 세부 사항을 재현할 수 없습니다. 회절은 가능한 해상도를 제한합니다. 스폿의 반경 r은 파장 λ(빛 파장)와 개구수 NA에 의해 주어집니다. r = 0.61λ / NA , r = 에어리 디스크의 반경 = 분해능 * 조명광의 파장이 길수록 스폿이 더 커집니다. Area Scan [에어리어 스캔] 이미지 센서가 2차원 배열로 이루어진 센서 고속 이미지 캡처와 정밀한 해상도 제공하며, 정지된 물체뿐만 아니라 움직이는 물체도 캡처할 수 있어 다양한 애플리케이션에 적합 렌즈를 통해 빛이 이미지 센서에 집중되고, 각 픽셀이 빛의 강도를 전기 신호로 변환한 후 디지털 데이터로 처리되는 원리 Bayer Sensor RGB 컬러 필터를 사각형의 광센서 그리드에 배열하기 위한 컬러 필터 어레이(CFA) 디지털카메라와 이미지 센서에서 널리 사용. 적은 수의 센서로 색상 이미지를 생성할 수 있어 효율적이고, 구조가 간단합니다. bayer Sensor의 작동 원리 1. 배열의 적용: 베이어 필터 배열은 전체 센서 그리드에 반복되어 적용 2. 빛의 감지: 각 픽셀은 RGB(빨강, 녹색, 파랑) 중 하나의 색상을 감지 3. 데이터 수집: 각 픽셀이 감지한 특정 색상의 빛 정보를 수집 4. 디모자이킹: 수집된 데이터를 통해 디모자이킹(demosaicing) 과정을 거쳐 전체 이미지의 색상을 재구성 * 디모자이킹(demosaicing)은 디지털 이미징에서 사용되는 과정으로, Bayer 필터 배열과 같은 컬러 필터 배열(CFA)을 사용하여 이미지를 촬영할 때 수집된 데이터를 완전한 컬러 이미지로 변환하는 것 출처 : Wikipedia® Binning [비닝] 이미지 센서의 여러 픽셀을 그룹으로 묶어 단일 픽셀처럼 처리하는 기술 여러 픽셀의 빛을 합쳐 감도를 향상시키고, 신호 대 잡음비(SNR)를 개선하며, 해상도를 낮춰 데이터 처리 속도를 증가 특히 저조도 환경과 실시간 처리가 필요한 머신 비전 애플리케이션에서 유용 일반적인 비닝 방법은 2x2 binning: 2x2 픽셀 그룹을 하나의 픽셀로 합칩니다. 해상도는 원래 해상도의 1/4로 감소 3x3 binning: 3x3 픽셀 그룹을 하나의 픽셀로 합칩니다. 해상도는 원래 해상도의 1/9로 감소 Blooming [블루밍] 이미지의 픽셀 집합이 밝은 점(태양, 빛, 레이저)에 의해 과포화 되어 해당 픽셀에 포함된 전하가 인접한 픽셀로 넘쳐 밝은 점이 방사형 패턴으로 "번지는" 현상 Camera mount 카메라 바디와 렌즈를 연결하는 장치 각 카메라 마운트는 다양한 사이즈의 쓰레드와 플랜지 백을 갖추고 있음 *FB : 센서에서 카메라 플랜지까지의 거리 *1 FB 사이즈는 카메라 제조업체에 따라 다양합니다. 정확한 영상 촬영을 위해서는 올바른 마운트 쓰레드와 FB의 확인이 필요합니다. Camera Link 산업 비디오 제품의 표준화를 위해 설계된 인터페이스 Camera Link 인터페이스는 AIA(Automated Imaging Association)에 의해 유지 및 관리되며, 높은 안전성으로 가장 널리 사용되고 있는 인터페이스 중 하나 데이터 전송 속도 * Base : 1,2,3 Tap (최대 255MB/s) * Medium/Full : 4,6,8 Tap (최대 680MB/s) * DECA : 10 Tap (850MB/s) CCD Sensor / CMOS Senseor CCD Sensor (Charge Coupled Device) 전자결합자 빛을 전하로 변환시켜 화상을 얻어내는 센서 높은 감도와 낮은 노이즈로 뛰어난 이미지 품질을 제공하며, 저조도 환경에서도 우수한 성능을 발휘 상대적으로 높은 전력 소비와 생산 비용, 느린 데이터 전송 속도로 인해 실시간 처리에는 제한 출력 구조상 포화한 빛 전송 시 스미어 현상이 발생. CMOS Sensor (Complementary Metal-Oxide-Semiconductor) 받아들인 빛을 전기신호로 변환하여 이미지를 생성하는 이미지 센서 낮은 전력 소비와 저비용 생산이 가능하며, 고속 데이터 처리로 실시간 영상 촬영에 유리 CCD에 비해 가격이 저렴하며, 감도가 낮고 노이즈가 높은 편. 각 픽셀 별 감도 차이가 있어 FPN(Fixed Pattern Nosie)이 발생. *스미어 현상 : 스미어 현상은 화상 왜곡의 하나로서, 화소의 수광부 이외로의 빛의 누설, 신호 전자의 불완전한 이동 등에 의해 화면의 밝은 부분에 상하로 밝은 선이 보이는 현상 CMM (Coordinate Measuring Machine) 프로브(Probe) 센서가 물체에 직접 닿아 측정하는 방식 정밀하고 신뢰성 있는 데이터를 얻을 수 있지만, 물체의 민감도에 따라 변형, 손상이 있을 수 있음. Confocal [공초점 기술] 이미지의 초점 깊이를 정밀하게 조절하여 고해상도 이미지를 생성하는 기술로 빛의 파장대 별로 초점이 다른 원리를 이용하여, 물체 표면에 따라 높이 데이터를 취득하는 방식. 물체의 표면 높이뿐만 아니라 불투명 재질의 경우 두께 측정도 가능 Contrast [명암 대비] 이미지에서 어두운 부분과 밝은 부분 사이 차이 높은 대비는 밝은 부분과 어두운 부분 사이의 차이가 크다는 것을 의미하며, 낮은 대비는 그 차이가 작다는 것을 의미 <명암 대비의 양 차이> 출처 : Wikipedia® Chromatic Aberration [색수차] 빛의 파장에 따라 상이 맺히는 위치가 어긋나 색이 번져서 상이 흐려지는 현상 일반적으로 단일 렌즈는 모두 색수차가 있으므로, 광학기계에 사용되는 렌즈는 단일 렌즈를 몇 개 결합하여 각각의 용도에 따라 색수차를 감소 출처 : Wikipedia® CXP (CoaXPress) JIIA에서 제정한 표준 고속 이미지 전송을 위한 인터페이스 길이가 긴 케이블을 사용할 수 있음. 초고속 라인 스캔 카메라의 트리거링에 적합하며 신호 지연이 아주 짧음. * JIIA : Japan Industrial Imaging Association 데이터 전송 속도 / 최대 길이 * CXP-1 : 1.25 Gb/s, 212m * CXP-2 : 2.5 Gb/s, 185m * CXP-3 : 3.125 Gb/s, 169m * CXP-5 : 5 Gb/s, 102m * CXP-6 : 6.25 Gb/s, 60m * CXP-10 : 10 Gb/s, 40m * CXP-12 : 12.5 Gb/s, 30m Distortion [왜곡] 렌즈의 중심과 외각의 굴절률 차이로 인해 이미지의 중심과 외곽 부분에 차이가 나는 현상 Distortion Deep Learning [딥러닝] 컴퓨터가 스스로 외부 데이터를 조합, 분석하여 학습하는 기술 딥러닝에 기반한 머신비전 시스템은 복잡한 패턴 인식과 정확한 데이터 분석을 가능하게 하며, 규칙 기반 시스템으로는 어려운 객체 검출, 이미지 분류, 세그멘테이션 등을 높은 정확도로 수행합니다. 이를 통해 자동화 공정의 효율성을 극대화하고, 새로운 응용 분야에서 혁신적인 솔루션을 제공합니다. Digital Camera [디지털 카메라] 광학 이미지를 전자 신호로 변환하여 디지털 형식으로 저장하고 처리하는 장치 CCD나 CMOS 센서를 사용하며, A/D 변환기를 통해 신호를 디지털화하여 노이즈를 최소화 높은 해상도의 이미지를 제공하며, 다양한 파일 형식(JPEG, RAW 등)으로 이미지를 저장할 수 있어 후처리가 용이합니다. Depth Of Field [DOF, 피사계 심도] 영상의 초점이 선명하게 맺혀지는 피사체 거리의 범위 * 초점 심도 : 촬상 측 (센서 측) 거리를 나타내는 파라미터 * 허용 착락원(or 허용 COC) : 허용되는 흐림의 정도 * 심도 : 영상 평면에 초점이 맞추어졌을 때 광선속의 최소 직경 DSP (Digital signal Processor) 디지털 신호를 기계장치가 빠르게 처리할 수 있도록 하는 집적회로 DSP는 아날로그 신호를 디지털로 바꿔 고속 처리해 주는 기능을 하기 때문에 복잡한 신호처리를 요구하는 멀티미디어 기기나 디지털 통신기기 등에 폭넓게 응용 Exposure Time 카메라 센서가 빛을 받아들이는 시간이며, 시간이 짧으면 어두운 이미지, 길면 밝은 이미지를 얻을 수 있음. F Number (F/#) 무한 이미징 렌즈의 밝기 초점 거리를 빛이 들어오는 영역의 직경으로 나눈 값으로, 값이 작을수록 이미지가 밝아짐. FireWire (IEEE 1394) PC 등에 주변 기기를 접속하기 위하여 사용하는 인터페이스 규격 중의 하나 IEEE는 단자 이름이 아니라 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)의 약자 FireWire 인터페이스 카메라는 IEEE 1394 데이터 전송 기술로 이미지 데이터를 전송하는 방식. * IEEE1394는 IEEE에서 규정한 인터페이스 규격 전송 속도 * IEEE 1394a: 400Mb/s * IEEE 1394b: 800Mb/s Focal Length [초점거리] 렌즈의 중심에서 렌즈가 수집한 빛이 모여 초점을 형성하는 지점까지의 거리 * 렌즈의 광축과 이미지 센서(또는 필름) 사이의 거리로 표현 FOV (Field of View) 렌즈를 통해 이미지 센서에 들어온 시야 사이즈 즉, 렌즈를 통해서 사진기가 이미지를 담을 수 있는 각 넓은 시야각은 넓은 범위의 장면을 한 번에 포착할 수 있지만 해상도가 떨어질 수 있는 반면, 좁은 시야각은 세밀한 부분을 확대하여 더 높은 해상도로 촬영 가능 측정 방법 각도 단위로 측정된 시야각 수평 시야각 (Horizontal FOV): 카메라나 렌즈가 수평 방향으로 포착할 수 있는 장면의 각도 수직 시야각 (Vertical FOV): 카메라나 렌즈가 수직 방향으로 포착할 수 있는 장면의 각도 대각선 시야각 (Diagonal FOV): 카메라의 센서 또는 렌즈의 대각선 방향으로 포착할 수 있는 장면의 각도 거리 단위로 측정된 시야각 시야 폭 (Field of View Width): 특정 거리에서 카메라가 포착하는 장면의 폭 시야 높이 (Field of View Height): 특정 거리에서 카메라가 포착하는 장면의 높이 * 출처 : Wikipedia® * Opt Mag : 광학배율 (실제 물체 크기와 이미지 센서에 맺히는 물체 크기와의 비율) FPS (frame per second) 초당 찍히는 프레임의 수 FPS가 높을수록 부드러운 영상을 얻을 수 있음. Frame rate 단위 초당 화면을 바꾸는 횟수 횟수가 많을수록 화면의 흔들림을 적게 느낌. FFC (Flat Field Correction) 균일하지 않은 이미지를 균일한 이미지로 보정해 주는 기능 Gain [게인] 전자 기기의 출력과 입력의 레벨비 Gamma correction [감마 보정] 이미지의 밝기와 대비를 조정하여 사람이 더 잘 인식할 수 있도록 하는 과정 이미지의 픽셀 값에 감마 값(γ)을 사용하여 비선형적으로 적용 감마 값(γ)이 1보다 작으면 이미지가 밝아지고, 1보다 크면 어두워짐. * Vin 은 원본 픽셀 값(0과 1 사이)이며, Vout 은 보정된 픽셀 값 GigE Vision GigEVision 인터페이스는 기가 바트 이더넷 통신 프로토콜을 사용하여 개발된 카메라 인터페이스 표준 10GigE Vision -> 속도가 10배 빨라진 것 데이터 전송 속도 * GigE : 1Gb/s * 10GigE : 10Gb/s Infrared light [적외선] 태양이 방출하는 빛을 프리즘으로 분산시켜 보았을 때 적색 선의 끝보다 더 바깥쪽에 있는 전자기파 가시광선보다 파장이 길고 마이크로파보다는 파장이 짧음 * 파장의 길이에 따라 분류하면 파장 0.75∼3㎛의 적외선을 근적외선, 3∼25㎛의 것을 적외선, 25㎛ 이상의 것을 원적외선 Interlaced Scan [비월주사] TV Format에서 사용되며 이미지 데이터의 홀수, 짝수를 번갈아 가며 전송하는 방식 비월주사는 홀수 또는 짝수 필드를 60Hz로 전송하기 때문에 실제로 사람의 눈에는 인식되지 않음. * Field(필드) : 홀수만 또는 짝수만 구성되는 이미지, Frame(프레임) : 이미지 전체 Image Processing [이미지 처리] 카메라나 센서로부터 획득한 이미지를 분석하고, 유의미한 정보를 추출하는 과정 자동화된 시스템에서 사람의 개입 없이 정확하고 신뢰할 수 있는 데이터를 제공하여 효율성 향상 이를 통해 오류를 줄이고, 품질을 향상시키며, 비용 절감 가능 이미지 처리 단계 1. 이미지 획득 (Image Acquisition) : 카메라나 기타 센서를 통해 이미지를 수집 2. 이미지 전처리 (Image Preprocessing) : 수집된 이미지의 품질을 향상시키고, 분석에 적합하게 만드는 과정 3. 특징 추출 (Feature Extraction) : 이미지에서 중요한 정보를 뽑아내는 과정 4. 객체 인식 및 분석 (Object Recognition and Analysis) : 추출된 특징을 기반으로 객체를 인식하고 분류 5. 결과 해석 및 응용 (Interpretation and Application) : 분석된 정보를 해석하여 의사 결정 Light spectrum 사람이나 기기에 의해 "빛"으로 인식되는 전자기 스펙트럼 내의 파장 범위 Liquid Lens 액체의 물리적 특성을 이용하여 렌즈의 초점 거리를 조절하는 광학 기기 일반적인 렌즈는 유리 재질로 되어 있지만 Liquid Lens는 액체 소재로 되어 있으며, 전기적 신호를 받아 형태를 바꾸어 DOF를 극복하거나 초점 거리 변경 가능 * Zoom Lens의 경우 모터를 없애고 Liquid Lens와 결합해 간편하게 제어가 가능 <좌> Liquid Lens 구성도 <우> 구동 방식 LWD (Lighting Working Distance) 조명 끝 단부터 물체 표면까지의 거리 Mash 3D Point Cloud Data 점들을 연결하여 3D 표현으로 만드는 표현 방식 그물망처럼 점을 이어 표현하는 방식 Machine Learning [ML, 머신러닝] 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술 MOD (Minimum Object Distance) 초점을 맞추기 위한 렌즈와 물체의 최소 거리 MTF (Modulation Transfer Function) 공간 주파수 및 명암비 측면에서 물체 표면의 음영 반복이 이미지 측면에서 어떻게 나타나는지를 표현하는 각 공간 주파수의 명암 특성 즉, MTF는 렌즈의 이미징 성능과 물체의 콘트라스트를 이미지로 얼마나 완벽하게 재현할 수 있는지 확인하는 기준 *콘트라스트 성능은 특정 공간 주파수와 동일한 간격의 흑백 테스트 패턴을 사용 Near infrared light [근적외선] 적외선 중에서 파장이 짧아서 가시광선에 가까운 영역 보통 780nm - 2500nm(2.5μm) 영역 Numerical Aperture [NA, 개구수] 렌즈가 빛을 어느 정도 받아들이는지의 척도 NA = n · sin θ * n은 특정 매개체에서 렌즈의 굴절률(공기: 1.0)을 의미, θ는 빛이 들어오는 반각을 의미 Optical Magnification [광학 배율] 실제 물체 크기와 이미지 센서에 맺히는 물체 크기와의 비율 OI (Object to Imager) 물체에서부터 카메라 센서까지의 거리 PCD (Point Cloud Data) 스캔 된 객체를 나타내는 3D 점 좌표의 집합 각 점은 X, Y, Z 좌표를 가지고 있으며, 점의 위치는 3D 공간에서의 정확한 위치 3D 공간을 세밀하게 표현할 수 있으며, 색상과 강도 등의 추가 정보를 포함해 점의 속성을 자세히 이해 가능 * 3D Processing에 사용 출처 : Wikipedia® Pixel [픽셀] 디지털 이미지에서 하나의 작은 사각형 또는 점으로, 이미지의 전체를 구성하는 기본 단위 (=화소) 각 픽셀은 특정 색상과 밝기 정보를 가지고 있으며, 이 정보가 모여 전체 이미지가 형성 출처 : Wikipedia® Pixel Size [픽셀 사이즈] 화소의 길이와 폭 일반적으로 픽셀의 가로와 세로의 물리적 길이를 밀리미터(mm) 또는 마이크로미터(µm) 단위로 측정 Pixel Resolution [픽셀 해상도] 하나의 픽셀 이미지에 담겨 있는 비트 수 Ex) 1920x1080 픽셀 해상도는 1920개의 수평 픽셀과 1080개의 수직 픽셀로 구성된 이미지를 의미 * Megapixel : 100만을 뜻하는 MEGA와 디지털 사진의 최소 단위인 화소(PIXEL)를 결합한 용어 ROI (=AOI) ROI는 센서의 일부 영역만 전송할 수 있는 기능 아래 이미지 같이 필요한 부분만 전송하기 때문에 이미지 전처리 효과 및 촬상 속도 향상 가능 * 여러 영역을 지정하여 전송하는 기능은 Multi ROI Shutter type Rolling Shutter 센서 구조가 간단해 합리적인 가격의 장점이 있으나 센서의 세로 방향으로 순차적으로 노출을 하게 되어 움직이는 물체에는 왜곡(젤로 현상)이 발생. 정지된 물체를 촬상 하는 것에 적합 Global Reset Rolling Shutter의 추가 옵션으로 Rolling Shutter 센서로 정지된 물체를 촬영할 수 있도록 설정을 하는 것이며, 이미지의 세로 방향으로 밝기 편차가 발생 가능 Global Shutter 센서 전체가 동시에 노출을 하게 되어 움직이는 물체를 왜곡 없이 촬상 가능 Shutter type Signal-to-noise ratio [SNR, 신호 대 잡음비] Singal(신호)와 Nosie(잡음)의 상관관계를 나타내며, 이미지 품질을 평가할 수 있는 요소 높은 SNR 값은 신호가 잡음에 비해 상대적으로 강하다는 것을 의미. 즉, 신호의 품질이 좋다는 것 * SNR은 보통 데시벨(dB) 단위로 표현 SNR 수식 Sensor size 디지털카메라나 이미지 센서에서 광학 이미지를 수집하는 센서의 물리적 크기를 의미 Sensor size 공식 Structured Light [구조광] 프로젝터와 같은 광원을 이용하여 물체에 패턴을 투영하는 방식 패턴을 미세하게 움직이며 여러 이미지를 취득해야 하므로, 대상 물체는 정지해 있어야 함. 물체 표면에 투영된 패턴을 분석해 3D 형상을 재구성 Type of Machine Vision Lenses ToF (Time of Flight) 빛을 내는 발광부와 빛을 감지하는 수광부가 한 쌍을 이루는 구조 물체에 반사된 빛이 되돌아오는 시간(또는 위상차)에 따라 거리를 유추하는 방식. USB 인터페이스 USB 2.0 산업용에서 사용되기 위해 지정된 특정 프로토콜이 없음. USB 3.0 / USB3 Vision USB 2.0과 마찬가지로 Plug & Play를 완벽히 지원 * USB 3.0에서 3.1로 확장, USB 기술이 발전하면서 AIA에서 이 인터페이스를 USB3 Vision 표준으로 정의 Vignetting [비네팅] 사진 및 광학에서 화상의 중심부에 비해 주변부로 갈수록 화상의 명도 또는 채도가 감소하는 현상 * 이미지 센서 크기와 맞지 않는 경우에도 발생 출처 : Wikipedia® WD (Working Distance) 렌즈 끝 단부터 물체 표면까지의 거리 Working F/# (W.F/#) 유한 이미징 렌즈의 밝기를 정의 * W.F / 과 F/#의 관계 머신비전 카메라 인터페이스의 종류와 특징 오늘은 머신 비전 기본 구성 요소에 이어 머신 비전과 관련된 약 50여 가지 용어에 대해 알아보았습니다. 이 포스팅을 통해 다양한 용어들을 이해하는 데 도움이 되셨기를 바랍니다. 앞으로도 계속해서 유용한 정보를 제공해 드릴 수 있도록 노력하겠습니다 :) 머신 비전에 대해 궁금한 점이나 추가로 알고 싶은 내용이 있다면, 언제든지 저희 화인스텍을 방문해 주세요.
2024.08.02안녕하세요, 화인스텍입니다. 오늘은 머신비전의 기본 구성 요소에 대해 알아보려 합니다. 머신비전은 현대 산업에서 필수적인 기술로 자리 잡고 있으며, 다양한 응용 분야에서 품질 관리, 자동화 및 검사 작업을 더욱 효율적으로 수행할 수 있도록 도와주고 있는데요. 게다가 인공지능과 딥러닝 기술의 발전으로 더욱 정교하고 정확한 이미지 분석이 가능해져 다양한 산업 분야에서 머신비전의 응용이 확대되고 있습니다. 즉, 지속적인 기술 혁신과 자동화 수요 증가로 인해 머신비전의 영향력이 점점 높아져 가고 있습니다. 이번 포스팅을 통해 머신비전 시스템이 어떻게 구성되어 있는지, 그리고 각각 어떤 역할과 중요성을 갖고 있는지에 대해 자세히 설명드리겠습니다. 함께 머신비전의 세계로 들어가 보시죠! 머신비전 시스템은 여러 가지 중요한 구성 요소들로 이루어져 있습니다. 각 요소들은 시스템이 원활하고 정확하게 작동하도록 하는 데 필수적인 역할을 합니다. "카메라" 머신비전 카메라는 이미지 캡처를 통해 시스템이 물체를 인식하고 분석할 수 있게 하는 장치로서 머신비전 시스템에서 가장 중요한 요소 중 하나입니다. 머신비전 카메라는 이미지 프로세싱 소프트웨어와 결합하여 자동화된 검사, 로봇 가이드, 물류 처리 등을 가능하게 함으로써 전체 시스템의 효율성을 극대화합니다. 카메라의 역할 및 중요성 비전 카메라의 종류로는 에어리어 스캔 카메라, 라인 스캔 카메라, 3D 카메라, 스마트 카메라, 멀티스펙트럼 카메라 등이 있습니다. 에어리어 스캔 카메라(Area Scan Camera) : 단일 프레임에서 이미지를 캡처하는데 사용되는 카메라? 라인 스캔카메라 (Line Scan Camera) : 한줄의 라인을 스캔하여 연속적으로 이미지를 구성하는 카메라 3D 카메라 (3D Camera) : X, Y 및 Z 평면에서 검사를 수행하고 공간에서 물체의 위치와 방향 계산을 할 수 있는 카메라 스마트 카메라 (Smart Camera) : 이미지 캡처와 처리를 카메라 자체에서 수행하는 독립적인 시스템을 갖춘 카메라 멀티스펙트럼 카메라 (Multispectral Camera) : 여러 파장의 스펙트럼 이미지를 동시에 캡처하여 물체의 다양한 특성을 분석할 수 있는 카메라 머신비전에서의 카메라는 산업 자동화와 품질 관리에 필수적인 장비입니다. 다양한 종류의 머신비전 카메라는 각각의 특성과 용도에 맞춰 다양한 산업 분야에서 활용되고 있습니다. 특히, 특정 응용 분야의 요구에 적합한 카메라를 선택하면 작업라인에서의 효율성과 정확성을 크게 향상시킬 수 있습니다. "렌즈" 이미지를 획득하고 피사체를 정확하게 포착하는 데 필수적인 역할을 하는 장치로서 렌즈의 선택과 최적화는 이미지의 해상도와 선명도를 향상시켜 시스템의 성능과 분석 정확도를 극대화합니다. 렌즈의 역할 및 중요성 렌즈의 종류로는 CCTV 렌즈, 텔레센트릭 렌즈, 매크로 렌즈, 가변 초점 렌즈, 라인스캔 렌즈, 줌 렌즈 등이 있으며, 각각의 용도와 목적에 맞게 선택됩니다. CCTV 렌즈 (CCTV Lens) : 조리개의 조절과 배율 변경이 가능하며, DOF(Depth of field)가 무한 광학계인 것이 특징인 렌즈 텔레센트릭 렌즈 (Telecentric lens) : 입사광이 렌즈의 광축에 평행한 렌즈로 이미지의 원근감을 최소화 하며 WD*가 고정인 렌즈 매크로 렌즈(Macro Lens) : CCTV 대비 왜곡을 최소화하고 가까운 거리에서만 초점을 맞추도록 설계된 렌즈 가변 초점 렌즈 (Vari-Focal) : 초점거리를 연속적으로 변화시킬 수 있는 렌즈 WD*: Working distance로 렌즈 앞단에서 물체까지의 거리 선명한 해상도의 이미지는 이미지 분석 검사의 정확도를 보장하며, 시스템의 효율성과 유연성을 증가시킵니다. 적절한 렌즈 선택은 이미지 검사 처리 속도를 높여 생산성을 향상시키고, 추가적인 처리와 보정을 줄여 비용 절감에 기여합니다. 이는 머신비전 시스템의 전반적인 성능과 신뢰성을 크게 향상시킵니다. "조명" 머신비전 시스템에서 조명은 선명한 이미지를 취득하는 데 있어 중요한 핵심 요소입니다. 조명을 통해 머신비전 시스템을 더욱 정확하게 분석하는 데 도움을 주며, 고품질의 고대비 이미지는 결함 검출, 측정, 인식 등의 작업에서 높은 신뢰성을 보장합니다 조명의 역할 및 중요성 조명의 종류로는 링 조명, 바 조명, 돔 조명, 백 라이트 등이 있으며, LED, 형광등, 할로겐 등 다양한 조명 기술이 사용됩니다. 또한, 조명의 방향과 색상, 강도도 머신비전 조명 설치에 있어 중요한 요소로 작용합니다. 링 조명 (Ling Light) : 카메라 주변에 원형으로 배치되어, 객체에 균일한 조명을 제공 바 조명 (Bar Light) : 긴 막대 형태로, 균일한 조명을 제공, 표면 결함 검사나 치수 측정과 같은 애플리케이션에 적합 돔 조명 (Dome Light) : 빛을 난반사시켜 그림자가 제거된 부드러운 이미지를 얻을 수 있습니다. 조명 반사율이 심한 대상물체에도 적합함 백 라이트 (Backlight) : 객체 뒤에서 조명을 제공하여, 객체의 윤곽을 뚜렷하게 만듦. 객체의 형태나 외곽선을 정확하게 분석하는 데 필수적 이미지의 품질이 향상되고, 분석의 정확도가 높이기 위해서는 다양한 환경과 조건에 맞는 적절한 조명을 선택해야 합니다. 최적화된 조명은 일관된 검사 결과와 비용 절감에 기여합니다. "프레임그래버" 프레임그래버는 "프레임(Frame)을 잡는다(Grab)"라는 뜻으로 이미지를 획득하기 위해 만들어진 장치로서 핵심 구성요소입니다. 주로 이미지 캡처, 전처리, 변환 등을 수행하여 소프트웨어가 더 효율적으로 작업할 수 있도록 도와줍니다. 프레임그래버(FrameGrabber)의 역할 및 중요성 프레임그래버(FrameGrabber)의 구조 프레임그래버는 제조, 의료, 자동차, 로봇, 보안 등 다양한 산업 분야에서 컴퓨터 비전 및 이미지 처리 응용에 활용됩니다. 또한 머신비전 시스템에서 데이터의 신속하고 정확한 전송, 고품질 영상 유지, 다양한 카메라 인터페이스 지원, 실시간 처리 등 여러 핵심 기능을 수행하여 시스템의 성능과 효율성을 극대화하는데 중요한 역할을 합니다. "소프트웨어" 소프트웨어는 프레임그래버가 처리한 데이터를 분석하고, 결과를 도출하여 시스템의 전체 성능을 제어하는 핵심 요소입니다. 이미지 분석 알고리즘을 적용하여 결함 검출, 객체 인식, 패턴 매칭 등을 수행합니다. 소프트웨어의 역할 및 중요성 소프트웨어의 종류로는 전용 소프트웨어 패키지, 프로그래밍 라이브러리, 딥러닝 프레임워크, 클라우드 기반 솔루션 등이 있으며, 유연한 커스터마이징과 확장성을 제공하여 다양한 응용 분야에 적합하게 맞출 수 있습니다. 전용 소프트웨어 패키지 : 특정 목적을 위해 설계된 소프트웨어 솔루션으로 이미지 분석, 물체 인식 등에 사용? 프로그래밍 라이브러리 : 이미지 처리 및 컴퓨터 비전 작업에 필요한 프로그램 개발에 필요한 기능을 미리 구현해 놓은 코드 기반의 라이브러리? 딥러닝 프레임워크 : 인공지능과 머신러닝을 활용한 이미지 분석을 비롯해 다양한 응용 분야를 지원하는 소프트웨어 툴 클라우드 기반 솔루션 : 클라우드 인프라를 이용해 이미지 처리 및 분석을 포함한 다양한 서비스와 기능을 제공하는 솔루션 또한, 자동화된 분석과 결정을 통해 인력 비용을 줄이고 운영 비용을 절감하는 데 기여합니다. 이처럼 머신비전 소프트웨어는 정확한 이미지 분석과 실시간 처리로 시스템의 신뢰성과 효율성을 높입니다. "인터페이스" 인터페이스는 머신비전 시스템에서 각 구성 요소 간의 데이터 전송 및 제어를 담당하는 중요한 부분입니다. 이는 카메라, 프레임그래버, 소프트웨어, 그리고 외부 장치 간의 원활한 상호작용을 가능하게 하며, 시스템이 효율적으로 작동하도록 돕습니다. 인터페이스의 역할 및 중요성 인터페이스의 종류로는 USB, Camera Link, CoaXPress, GigE 인터페이스 등이 있으며, 각각의 특성과 용도에 따라 선택됩니다. USB : 컴퓨터에 기본으로 탑재되어 있는 인터페이스 Camera Link : 주로 고성능을 요구하는 산업용 카메라에 사용되는 고성능 인터페이스 CoaXPress : 고사양, 고해상도의 산업용 카메라에서 대용량 이미지 전송을 지원하는 고속 인터페이스 GigE 인터페이스 : Gigabit Ethernet 인터넷 프로토콜을 기반으로 하며, 고속 카메라 인터페이스용으로 표준 Cat-5 및 Cat-6 케이블을 사용 인터페이스는 머신비전 시스템에서 데이터 전송, 장치 간 통신, 시스템 통합을 담당하며, 실시간 데이터 처리와 신뢰성 향상, 유연성 및 확장성 제공, 비용 효율성 등에서 중요한 역할을 합니다. 이렇게 머신비전 시스템은 카메라, 렌즈, 조명, 프레임그래버, 소프트웨어, 인터페이스 등으로 구성되어 있습니다. 각 요소는 시스템의 성능과 정확도에 중요한 역할을 하며, 최적의 조합과 설정이 성공적인 머신비전 구현을 위해 필수적입니다. 위와 같은 구성 요소들은 이미지 품질 향상, 정확한 분석, 시스템 효율성 증대, 유연성 및 적응성 향상, 비용 절감 등의 이유로 매우 중요합니다. 다음 게시글도 머신비전 시스템에 대한 유익한정보를 가지고 오겠습니다 :) 머신비전 솔루션에 대해 더 궁금한 점이 있다면, 화인스텍을 방문해 주시기 바랍니다.
2024.07.191. 2024 머신비전과 딥러닝 규모와 시장 방향 최근 AI 기술이 발전함에 따라 제조업계에서의 머신비전도 새로운 솔루션의 전환이 시작되어 가고 있습니다. Bizwit Research & Consulting LLP의 보고서에 따르면 세계의 딥러닝 시장은 2022~2029년에는 33.5% 이상의 성장률을 보일 것이라고 전했습니다. 딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템으로 대량의 정보를 수집, 분석 및 해석하여 데이터를 처리하여 다양한 산업과 업무에서 정확성, 신뢰성, 비용 절감, 생산성 등의 향상에 기여합니다. 정교한 작업이 가능한 AI 딥러닝은 소매업, 의료, 자동차, 농업, 보안, 로봇, 항공우주, 제조산업에서 다양한 솔루션을 제공합니다. 제조 산업에서 AI 기술은 2022년에서 2023년까지의 연 평균 47.8%의 성장성을 지속하고 있습니다. (자료 제공=VMR) 위 이미지에서 시장조사기관 VMR(Verified Market Research)이 최근 발표한 ‘글로벌 빅 데이터 시장’ 연구 보고서에서 제공한 자료에서 보이는 것처럼 제조업계에서 딥러닝 도입으로 인한 자동화는 이제는 선택이 아니라 필수입니다. 따라서, 머신비전 업계에서도 검사 자동화에 있어서는 룰(rule) 기반에서 딥러닝 기반을 통한 솔루션으로 부각되면서 딥러닝 기반 시스템으로 빠르게 전환되어 가고 있습니다. 2. 룰 기반에서 딥 러닝(Deep Learning) 시스템의 새로운 전환 | 룰 기반(Rule Based Learning) 시스템 VS 딥 러닝(Deep Learning) 기반 시스템 딥 러닝(Deep Learning) 이전의 머신비전은 주로 ‘룰 베이스(Rule base)’ 기반으로, 양품과 불량품 데이터를 각각 대량으로 확보한 뒤 머신비전 카메라로 촬영한 제품 사진과 비교해 양품과 불량품을 검사했습니다. 그러나 룰 기반은 기존 DB 기준을 넘어서는 불량에 대해 제대로 인식하지 못하는 미검 상황이 다수 발생합니다. 룰 베이스는 DB 안에서 이뤄지는 시스템이라면 딥 러닝(Deep Learning) 기반의 시스템은 양품과 불량품의 특징에 관한 데이터를 다층적으로 학습하여 DB에 등록되지 않은 데이터라도 미리 추출한 특징으로 기반으로 하여 합리적으로 불량 여부를 판단할 수 있는 기능을 제공합니다. 동시에 추가로 수집된 데이터를 스스로 학습하여 정확성과 생산성을 스스로 향상시킵니다. 현재 머신비전 분야는 ML·DL 등을 포함한 기술과 빅데이터 및 5G 같은 다양한 ICT 기술이 접목되면서 검사 정확도를 높이고 있으며, 공정 효율 개선에도 실질적인 도움을 주고 있습니다. Business Research insight의 머신비전 시장의 딥 러닝 보고서에 따르면 2022부터 2028년까지의 머신 비전 딥 러닝 시장 규모는 연평균 54.4%의 성장률(CAGR)을 나타낼 것이라고 예상했습니다. 이러한 추세에 따라 제조업계에서는 딥 러닝(Deep Learning)을 활용하여 높은 해상도, 실시간 처리, 효율적인 학습 알고리즘을 통해 새로운 유형의 불량 탐지의 정확성을 높여 산업 내에서 경쟁력을 유지하고 신기술에 대한 요구를 해결할 수 있는 기대감이 점점 더 커지고 있습니다. 3. 딥러닝과 머신비전의 융합 활용 사례 딥러닝은 인간의 두뇌를 이루는 생물학적 신경망을 모방해 만든 컴퓨팅 시스템입니다. 머신비전업계에서 딥러닝은 CNN*(컨볼루션 신경망)과 딥 피드 포워드*(deep, feed-forward) 방식의 인공 신경망으로, 이미지를 분석하는 데 가장 널리 적용되고 있습니다. 컨볼루션 신경망(CNN)은 부품 분류, 검출, 결함 감지 등을 효과적으로 수행하기 때문에 제조업에서는 이 기술을 활용하여 자동적이고 정확한 제품 검사, 결함 감지, 및 품질 향상을 위한 머신 비전 시스템을 구축할 수 있습니다. *CNN(컨볼루션 신경망)은 주로 이미지 인식 및 패턴 인식에 사용되는 딥러닝의 한 유형으로 이미지 처리 작업에 특화되어 있다. *딥 피드 포워드(deep feedforward)는 깊이(depth)가 깊다는 딥과 정보가 한 방향으로만 흐르는(feed-forward)라는 뜻의 구조로 이 신경망이 여러 층으로 구성되어 있고 정보가 깊다는 의미. 그리고 더 나아가 딥 러닝 기술을 활용하여 이미지 분석 및 검사 분야에서 혁신적인 솔루션을 제공하는 기업들이 존재합니다. 그 예로 Eurerys가 딥 러닝 기술로 실시간으로 부품을 분류하고 결함을 탐지하는 기술을 제조 업계에 제공함으로써 생산 효율성을 향상하고 품질 표준을 유지하는 데 기여해왔습니다. | 딥 러닝과 머신 비전의 융합 적용사례: Euresys – Open eVision 라이브러리 “머신비전 산업에서 대표적인 이미지 분석 라이브러리” Euresys는 이미지 및 비디오 수집 구성 요소, 프레임 그래버, FPGA IP 코어 및 이미지 처리 소프트웨어를 설계하고 제공하는 선도적이고 혁신적인 하이테크 기업입니다 Euresys는 Open eVision은 머신 비전 검사 애플리케이션을 독립적인 이미지로 처리하고 분석하는 라이브러리입니다. - 프레임 그래버, GigE 비전 및 USB3 비전 카메라를 포함한 모든 이미지 소스 호환 - Deep Learning 및 3D 같은 최신 기술 지원 - 정확한 서브 픽셀 측정 및 보정 - 64-bit libraries for C++ and .NET (C#, VB.NET, C++/CLI) under Windows (x86-64) - Linux(x86-64 또는 ARMv8-A)용 64비트 라이브러리 Open eVision 기술은 딥 러닝 기술을 활용하여 안정적이면서도 변화하는 환경에 대응하여 다양한 조건이나 요구에 유연하게 대처하는 머신 비전 검사를 제공합니다. 특히 딥 러닝 기술을 활용한 라이브러리인 Deep Learning Bundle은 새로운 보조 세분화 도구를 통하여 픽셀 단위의 완벽한 주석을 얻는 빠르고 효율적인 방법을 제시합니다. 이는 보조 세분화 도구를 통해 이미지를 작은 부분으로 분할하여 각 부분의 특성을 분석한 후에 이미지의 각 픽셀에 주석을 달아 물체나 특징을 픽셀 수준에서 정확하게 식별하고 기록하여 작업을 신속하고 효율적으로 동작하는 방법을 제공한다는 의미입니다. Euresys의 Deep Learning Bundle은 특히 머신 비전 애플리케이션의 이미지 분석을 위해 맞춤화, 매개변수에 최적화된 기술입니다. 또한, Deep Learning Bundle은 데이터 증강(Data Augmentation) 기능을 활용하여 딥 러닝 신경망을 학시키는 방식으로 작동합니다. 다시 말해, 프로그램 가능한 한계 내에서 기존의 기준 이미지를 수정(예: 이동, 회전, 확대)하여 추가로 기준 이미지를 생성하는 '데이터 증강'을 구현합니다. 이로써 Deep Learning Bundle은 클래스 당 겨우 100개의 학습 이미지로도 효과적으로 작동할 수 있습니다. 데이터 증강(Data Augmentation) 따라서, Deep Learning Bundle은 Open eVision 라이브러리의 핵심 부분으로 데이터 증강과 보조 세분화 도구를 통해 이미지 주석을 신속하고 정확하게 수행하여 기술적 효율성과 성능을 향상시켜 머신 비전 검사 분야에서 안정적이고 유연한 솔루션을 제공합니다. 특히, Deep Learning Bundle은 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)과 같은 다양한 딥 러닝 솔루션을 통해 Open eVision 라이브러리의 핵심 부분으로서 기술적인 효율성과 성능을 높이고 있습니다. | Deep Learning Bundle이 제공하는 세가지 특징 및 적용사례 Deep Learning Bundle은 Open eVision 라이브러리의 일부이며 딥 러닝 라이브러리는 딥 러닝이 솔루션을 제공하는 세 가지 특정 기능, 즉 분류(EasyClassify), 분할(EasySegment), 로컬라이제이션(EasyLocate)에 대응하는 소프트웨어 도구로 구성되어 있습니다. 1) Euresys Deep Learning Bundle의 분류 라이브러리: EasyClassify EasyClassify는 이미지 분류를 위한 Deep Learning의 분류 도구로, 불량 감지 및 제품 인식과 같은 작업에 사용됩니다. 이 도구는 소프트웨어 사용자가 초기에 머신비전 시스템을 통해 취득한 이미지에 라벨링 작업을 하면 그 후 EasyClassify가 딥 러닝 기술을 활용하여 주어진 이미지가 특정 클래스에 속할 확률을 계산하고, 이를 클래스로 할당합니다. 즉, 이미지가 학된 각 클래스에 속할 가능성을 확률로 제시해 줍니다. 사용자는 어떤 부품이 양호하고 어떤 부품이 불량하며 어떤 부품이 어떤 클래스에 속하는지만 알려주면 됩니다. 이 학습 프로세스 후에 EasyClassify 라이브러리가 이미지를 분류합니다. EasyClassify는 결함을 명확하게 규정하기 어려울 때 기존 머신 비전보다 더 성능이 뛰어납니다. 예를 들면, 다양한 스케일 및 위치에서 복잡한 모양과 텍스처에 따라 분류가 달라지는 경우가 여기에 해당합니다. 2) Euresys Deep Learning Bundle의 분할 라이브러리: EasySegment EasySegment은 개체 및 결함을 쉽게 분할할 수 있도록 설계된 Deep Learning Bundle의 분할 도구입니다. 이를 활용하여 결함이 포함된 부품을 식별하고 그 결함이 이미지의 어떤 위치에 있는지 정확하게 구분합니다. Euresys-EasySegment EasySegment는 이미지의 정상 및 비정상 결함을 감지하고, 결함이 없는 “우수한” 이미지만을 학습하는 무감독(비지도 학습) 모드와 결함 이미지를 분할하고 더 나은 분할과 "결함 감지"를 위해 결함 모델도 학습하는 감독(지도 학습) 모드가 존재합니다. EasySegment의 무감독(비지도 학습)과 감독(지도 학습) 적용 사례: 무감독 모드를 활용한 샘플 데이터 세트: 패브릭 결함 감지 무감독(비지도 학습) 모드: “패브릭” 샘플 데이터 세트는 어떻게 EasySegment의 무감독 모드를 사용하여 소수의 양호한 샘플만 학습하고 어떤 종류의 결함이 예상되는지 알려주지 않은 상태로 패브릭에서 결함을 감지 및 분할할 수 있는지를 보여줍니다. 감독 모드를 활용한 샘플 데이터 세트: 커피 이물질 감지 및 분할 감독(지도 학습) 모드: “커피” 샘플 데이터 세트는 어떻게 EasySegment의 감독 모드를 사용하여 이물질의 색상과 질감이 커피와 매우 유사한 경우에도생산 라인에서 이물질을 효율적으로 감지 및 분할할 수 있는지를 보여줍니다. 정리하자면, EasySegment의 무감독 모드는 양호한 샘플의 이미지만 학습하기 때문에, 결함의 유형을 알고 있지 않은 경우나, 결함 샘플이 준비되지 않는 경우에도 검사를 수행할 수 있습니다. 반면, EasySegment 감독 모드는 무감독 모드보다 더 나은 정확도를 달성하고 더 복잡한 결함을 분할할 수 있습니다. 또한 EasySegment를 무감독 모드로 돌려서 얻은 결과를 확인하고, 그 결과를 실제 데이터와 비교해서 필요한 부분을 가져와서 감독 모드를 위해 필요한 주석을 더 쉽게 달거나 편리하게 활용할 수 있습니다. 3) Euresys Deep Learning Bundle의 현지화 및 분류 라이브러리: EasyLocate EasyLocate는 딥 러닝 번들의 일부로, 사물의 위치를 찾아내고 식별하는 도구입니다. 주로 이미지에서 물체, 제품 또는 결함을 찾아내고 그것들을 구분하는 데 사용됩니다. 특히 EasyLocate는 이미지에 겹쳐 있는 물체를 식별할 수 있는 능력을 갖추고 있어, 해당 물체들의 개별적인 개수를 계산하는 데에도 활용될 수 있습니다. EasyLocate는 축 정렬 바운딩 박스와, 관심점 총 두 가지 방법을 사용하여 사물의 위치를 찾아낼 수 있습니다. 축 정렬 바운딩 박스를 이용한 샘플 데이터 첫 번째로는 “축 정렬 바운딩 박스” 방법으로 다양한 개체 및 크기에 정확한 주석 및 위치를 지정합니다. 이미지 속에서 찾은 각 개체(또는 결함)를 둘러싼 축 정렬 바운딩 박스를 만든 후 각각의 틀에 어떤 종류의 물체나 결함인지에 관한 클래스 레이블을 각 바운딩 박스에 할당합니다 위의 샘플 데이터처럼 "전자 부품" 데이터 세트는 EasyLocate 바운딩 박스가 열악한 조명 조건에서도 비닐봉지 안에 대량으로 보관된 다양한 종류의 전자 부품을 안정적으로 감지하고 계산할 수 있는 방법을 보여줍니다. 관심점을 이용한 샘플 데이터 두 번째는 관심점 방법으로 크기가 유사한 개체에 대한 빠른 단일 포인트로 주석 및 위치를 지정합니다. 즉, 이미지 속에서 크기가 비슷한 물체들을 예측하고 각 위치에 클래스 레이블을 할당하여 신속하게 하나의 지점으로 표시합니다. 단, 이 방법은 이미지의 모든 개체(또는 결함)의 크기가 비슷해야 합니다. 왼쪽의 샘플 데이터에서 보여지는 것처럼 “세라믹 커패시터 데이터 시트”는 EasyLocate 관심점이 서로 겹치거나 접촉하는 많은 세라믹 커패시터를 안정적으로 감지하고 정확하게 계산할 수 있는 방법을 보여줍니다. EasyLocate 관심점을 사용하면 한 번의 클릭으로 개체에 주석을 추가할 수 있으므로 주석 처리가 더 빨라집니다. 현재 Euresys의 Deep Learning Bundle의 EasyClassify / EasySegment / EasyLocate 툴은 표식 검사나 LED 검사가 필요한 전자제품 제조 산업에서 활용하고 있으며 일반 제조 산업용에서도 존재 여부 검사, 표면 분석, 어셈블리 검사, 레이블 인쇄 기계의 코드 품질 검증 등에 머신 비전 솔루션을 제공하고 있습니다. 앞으로 자동화 산업에서 성공적인 어플리케이션 구현에 있어 이미지 데이터 관리의 중요성은 더욱 강조될 것 입니다. 4. 딥 러닝 머신비전 솔루션, 제조산업의 자동화를 혁신하다 | Conclusion 머신 비전은 많은 이점을 제공하지만 이미지 품질에 영향을 미치는 일관되지 않은 조명 조건 및 실시간 처리에 대한 강력한 계산 능력과 같은 도전에 직면하고 있습니다. 또한 다양한 장치와의 상호 운용성 및 통합을 보장하기 위한 계속된 개발이 필요합니다. 따라서 인공 지능과 머신 비전의 융합은 머신 비전 업계에서 운영 효율성에서 중요한 전환을 의미합니다. 이차전지 제조과정에서는 2.5D 알고리즘과 LED 광학계 조명을 적용하여 영상처리 및 전처리 알고리즘이 강조되고 있습니다. 제조 산업이 계속해서 디지털 혁신을 수용함에 따라 비전 검사에서 딥 러닝의 역할이 진화하고 있습니다. 이러한 발전으로 제품 품질, 운영 효율성, 그리고 전반적인 경쟁력이 향상될 것으로 예상됩니다. 머신 비전을 적용한 다양한 솔루션은 산업 자동화와 스마트 제조 분야에서 주요 요소로 인식되어 제품 품질 향상과 생산 공정 효율화에 기여하고 있습니다. 뿐만 아니라 이차전지, 제약, 의료, 바이오 분야에서도 딥 러닝을 활용한 머신 비전 솔루션이 도입되고 있습니다. 마지막으로 식품 검사 및 분류를 위한 머신 비전은 특히 두드러지게 늘어나고 있습니다. 특히 패키징 공정에서는 딥 러닝을 기반으로 한 솔루션을 활용하여 제품 결합 여부를 확인하고 제품 누출을 방지하며 배송 지연을 예방할 수 있습니다. 물류 자동화의 핵심 기술인 AGV(무인운송로봇) 및 AMR(자율이동로봇)과 같은 로봇에도 머신 비전 솔루션이 도입되어, 로봇이 물건을 감지하고 이동하는 데 도움이 됩니다. 그러므로 머신 비전 자동화에 대한 딥 러닝 기술의 활용은 로봇 공학, 자율 주행 차량, 그리고 스마트 제조 분야에서 계속해서 증가할 것으로 전망됩니다. Euresys의 Deep Learning Bundle에 관한 자세한 내용을 알고 싶으시다면 화인스텍 홈페이지에서 확인해보시기를 바랍니다! 참고 자료: 유레시스 홈페이지 지티티코리아(https://www.gttkorea.com) 인더스트리뉴(https://www.industrynews.co.kr/news/articleView.html?idxno=49846)
2024.01.08임베디드 비전 구성품은 수많은 어플리케이션에 통합되고 있습니다. 이러한 모든 어플리케이션의 공통점은 더 많은 기능을 컴팩트하게 통합해야 한다는 것입니다. Teledyne FLIR는 이러한 시스템을 신속하게 프로토타입화 할 수 있는 TX2용 Quartet™ Embedded 솔루션을 도입했습니다. 이 커스텀 캐리어 보드를 사용하면 전체 대역폭에서 최대 4대의 USB3 머신 비전 카메라를 쉽게 통합할 수 있습니다. 이 보드는 NVidia Jetson 딥러닝 하드웨어 가속기가 포함되어 있으며, Teledyne FLIR의 Spinnaker® SDK가 사전 설치되어 있습니다. 검사, 모바일 로봇, 교통 시스템 및 다양한 유형의 무인 차량과 같은 시스템을 현장에서 구현하는 것은 큰 장점이 될 수 있습니다. 그림 1: 4가지 어플리케이션에 적용된 프로토타입 이 글에서는 Quartet 보드로 무엇을 할 수 있는지 강조하기 위해 동시에 4개의 어플리케이션을 실행하는 ITS(교통 시스템)를 개발하는 단계를 소개해드리겠습니다. 그 중 3개는 딥 러닝을 사용합니다. 어플리케이션1: 딥 러닝을 이용한 번호판 인식 어플리케이션2: 딥 러닝을 이용한 차량 유형 분류 어플리케이션3: 딥 러닝을 이용한 차량 색상 분류 어플리케이션4: 앞 유리창 투과(빛 반사 상황) 구매 목록: 하드웨어 및 소프트웨어 구성품 1. 프로세싱을 위한 SOM(System on Module) TX2용 Teledyne FLIR Quartet 캐리어 보드에는 다음과 같이 구성되어있습니다. - 전용 USB3 컨트롤러가 있는 TF38 커넥터 4개 - Nvidia Jetson TX2 모듈 -Teledyne FLIR의 강력하고 사용하기 쉬운 Spinnaker SDK가 사전 설치되어 Teledyne FLIR Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성 보장 - Nvidia Jetson 딥 러닝 하드웨어 가속기는 단일 컴팩트 보드에서 완전한 의사 결정 시스템을 가능하게 함 그림 2: Blackfly S board level, FPC cable, TX2가 포함된 Quartet 임베디드 솔루션 2. 카메라 및 케이블 - Teledyne FLIR Blackfly S USB3 보드 레벨 카메라 3대: 최신 CMOS 센서가 적용되어 있고, 케이스 버전과 동일하게 풍부한 기능을 지원하며 Quartet과의 호환성이 높음 - 커스텀 카메라 1대: Sony IMX250MZR 편광 센서가 탑재된 Blackfly S USB3 보드 레벨 카메라 - 케이블: TF38 FPC 케이블로 전력 및 데이터를 단일 케이블로 전송하여 공간 절약 그림 3: FPC 케이블이 연결된 Blackfly S 보드 레벨 카메라 3. 조명 : 번호판의 모션 블러를 방지하기 위해 충분한 광량을 제공하는 LED 조명 3.1 - 어플리케이션1 딥 러닝을 이용한 번호판 인식 개발 시간: 견고하고 빠른 실행을 위해 2-3주 소요 학습 이미지: LPDNet 사용 번호판 인식을 위해 Nvidia의 기성품인 LPDNet(License Plate Detection) 딥 러닝 모델을 사용하여 번호판의 위치를 ??감지했습니다. 그리고 문자와 숫자를 인식하기 위해 Tesseract 오픈 소스 OCR 엔진을 사용 했고 카메라는 Sony IMX267 센서가 탑재된 Blackfly S 보드 레벨 8.9MP 컬러 카메라(BFS-U3-88S6C-BD)를 사용 중입니다. 성능 및 속도를 높이기 위해 번호판 감지에 대한 관심 영역(ROI)을 제한하고, 견고성을 향상시키기 위해 추적(Tracking)을 적용했습니다. 해당 번호판의 문자와 번호판에 바운딩 박스가 표시됩니다.. 그림 4: 번호판의 문자 및 번호판에 바운딩 박스가 표시되는 영상 3.2 - 어플리케이션2 딥 러닝을 이용한 차량 유형 분류 개발 시간: 이미지 수집 및 어노테이션(Annotation)을 포함하여 최대 12시간 학습 이미지: ~300 차량 유형 분류를 위해 전이 학습(Transfer learning)을 사용하여 SUV, 세단 및 트럭과 같은 세 가지 장난감 자동차에 대해 자체 딥 러닝 객체 감지 모델을 학습했습니다. 다양한 거리와 각도에서 촬영한 약 300개의 트레이닝 이미지를 수집했고 카메라는 Sony IMX250 센서가 탑재된 Blackfly S 보드 레벨 5MP 컬러 카메라(BFS-U3-51S5C-BD2)를 사용 중 입니다. 장난감 자동차의 바운딩 박스에 어노테이션을 추가하는데 약 3시간이 소요됐습니다. 자체 SSD MobileNet 객체 감지 모델을 트레이닝하기 위해 전이 학습을 수행했으며, Nvidia GTX1080 Ti GPU에서 반나절 정도 소요됐습니다. GPU 하드웨어 가속기를 통해 Jetson TX2 모듈은 딥 러닝 추론을 효율적으로 수행하고 해당 차량 유형과 함께 자동차에 바운딩 박스를 출력할 수 있습니다. 그림 5: 바운딩 박스와 사전 설정된 차량 유형, 식별된 신뢰도 점수가 표시되는 영상 3.3 - 어플리케이션3 딥 러닝을 이용한 색상 분류 개발 시간: 색상 분류, 통합 및 테스트를 위해 ‘차량 유형 어플리케이션’ 모델을 재사용하여 2일 추가 소요 학습 이미지: ‘차량 유형 어플리케이션’과 동일한 300개 이미지 재사용 차량 색상 분류를 위해 위와 동일한 딥 러닝 객체 감지 모델을 실행하여 차량을 감지하고, 바운딩 박스에 대한 이미지 분석을 통해 색상을 분류했습니다. 해당 차량 색상과 함께 자동차에 바운딩 박스가 표시됩니다. 카메라는 Sony IMX252 센서가 탑재된 Blackfly S 보드 레벨 3MP 컬러 카메라(BFS-U3-32S4C-BD2)를 사용 중 입니다. 그림 6: 바운딩 박스 및 미리 설정된 색상 유형이 식별된 영상 3.4 - 어플리케이션4 앞 유리창 투과(빛 반사 상황) 앞 유리를 통해 HOV차선을 모니터링하고 안전 벨트 착용 여부를 확인하고 심지어 운전 중 휴대폰 사용 여부까지 확인하는 등 교통 관련 어플리케이션에 빛 반사 제거 기능은 매우 중요합니다. 이를 위해 Blackfly S USB3 보드 레벨 카메라와 5MP Sony IMX250MZR 편광 센서를 결합하여 커스텀 카메라를 만들었습니다. 이 보드 레벨 편광 카메라는 표준 제품이 아니지만, Teledyne FLIR에서는 다양한 센서를 쉽게 교체하여 커스텀 카메라 옵션 제공이 가능하여 빛 반사 제거 기능을 보여주는 커스텀 카메라 옵션을 제공하였습니다. 고정된 장난감 자동차의 빛 반사 감소를 보여주기 위해 쿼드 모드(Quad mode), 빛 반사 감소 모드와 같은 다양한 "편광 알고리즘" 옵션을 제공하는 Teledyne FLIR의 SpinView GUI를 통해 카메라 이미지를 간단히 스트리밍했습니다. 그림 7: Spinnaker SDK는 쿼드 모드, 빛 반사 감소 모드와 같은 다양한 “편광 알고리즘” 옵션을 제공하여 고정된 장난감 자동차의 빛 반사 감소를 보여줍니다. 쿼드 모드는 4개의 서로 다른 편광 각도에 해당하는 이미지를 보여줍니다. 전반적인 시스템 최적화 4개의 각 프로토타입은 독립적으로는 잘 작동하지만, 모든 딥 러닝 모델이 동시에 실행될 때 전반적인 성능이 상당히 좋지 않다는 것을 알았습니다. Nvidia의 TensorRT SDK는 Jetson TX2 모듈과 같은 Nvidia 하드웨어용 딥 러닝 추론 옵티마이저(Inference optimizer) 및 런타임을 제공합니다. 이 TensorRT SDK를 사용하여 딥 러닝 모델을 최적화하여 성능이 약 10배 향상되었습니다. 그리고 모든 어플리케이션이 실행 중일 때 발열이 심해 TX2 모듈에 방열판을 부착했습니다. 결과적으로 차량 유형 식별에서 14fps, 차량 색상 분류에서 9fps, 자동 번호판 인식에서 4fps 그리고 편광 카메라에서 8fps까지 4가지 어플리케이션을 모두 실행할 때 좋은 프레임 속도를 달성했습니다. Quartet Embedded Solution 및 Blackfly S 보드 레벨 카메라의 사용 용이성과 신뢰성 덕분에 비교적 짧은 시간 내에 프로토타입 개발을 완료하였습니다. Spinnaker SDK가 사전 설치된 TX2 모듈은 TF38 연결을 통해 전체 USB3 대역폭에서 안정적으로 스트리밍할 수 있는 모든 Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성을 보장합니다. Nvidia는 TX2 모듈에서 개발 및 최적화를 용이하게 하는 많은 툴을 제공합니다. Quartet은 이제 flir.com은 물론 flir.com 사무실과 글로벌 대리점들을 통해 구매하실 수 있습니다. 제품 링크 : Blackfly S 보드 레벨 카메라 : http://www.fainstec.com/main/search.asp?schStr=BD2 Blackfly S 편광 카메라 케이스 버전 : http://www.fainstec.com/main/search.asp?schStr=51S5P-C Quartet보드: http://www.fainstec.com/main/search.asp?cate=%EB%B3%B4%EB%93%9C&o_idx=125&schStr=Quartet
2022.09.16