LightGuard: RDK X5와 STM32 기반 Edge AI 비접촉 보조장비 제어 시스템

■ 완성 소개

LightGuard는 작업자의 손이나 장갑이 오염됐거나 양손을 사용하고 있어 물리 버튼을 누르기 어려운 상황에서 보조 장비를 비접촉으로 제어하기 위해 개발한 빛 궤적 기반 안전 제어 시스템이다. 사용자는 스마트폰 플래시나 손전등처럼 주변에서 쉽게 구할 수 있는 광원을 이용해 장비의 시작, 정지, 긴급 정지 동작을 요청할 수 있다. 전용 리모컨을 준비하거나 별도의 앱을 설치할 필요가 없으며, 스마트폰과 장비를 블루투스나 무선 네트워크로 연결하지 않아도 사용할 수 있다.

사용자가 카메라 앞에서 빛을 움직이면 카메라가 밝은 점의 위치를 연속으로 확인하고, RDK X5가 이동 방향과 전체 궤적의 형태를 분석한다. 왼쪽에서 오른쪽으로 이동한 빛은 시작, 오른쪽에서 왼쪽으로 이동한 빛은 정지, X 형태의 움직임은 긴급 정지 요청으로 판별한다. 정지된 빛, 반사광, 짧은 흔들림과 불완전한 움직임은 비명령으로 구분하여 장비 제어에 사용하지 않는다. 단순히 빛이 보이는지만 확인하는 것이 아니라 사용자가 의도적으로 만든 이동 방향과 형태를 함께 판별하도록 구성한 것이 핵심이다.

RDK X5는 카메라 영상 처리, 빛 궤적 생성, 인공지능 판별, 상태 화면 표시와 통신 관리를 담당한다. 그러나 인공지능 판별 결과만으로 릴레이를 직접 작동시키지는 않는다. 판별 결과는 RS-485 통신을 통해 별도의 STM32 제어기로 전달되며, STM32는 이를 최종 명령이 아닌 동작 요청으로 처리한다. STM32는 장비의 현재 상태, 통신 연결 여부, 거리 센서 측정 상태와 물리 비상 정지 입력을 다시 확인한 후에만 릴레이 출력을 결정한다.

완성된 시제품은 광원, IMX219 카메라, RDK X5, NUCLEO-F446RE, 거리 센서, RS-485 통신 장치, 릴레이와 상태 표시등으로 구성된다. 상태 확인 화면에서는 사용자가 입력한 빛 궤적, 인공지능 판별 결과, STM32로 전송한 요청과 제어기 응답을 함께 확인할 수 있다. 이를 통해 사용자 입력부터 영상 처리, 인공지능 판별, 안전 조건 확인과 실제 출력 제어까지 이어지는 전체 과정을 하나의 통합 시스템으로 구현하였다.

■ 주요 성과 및 특징

첫 번째 성과는 범용 광원을 이용한 비접촉 입력 방식을 실제 시제품으로 구현한 것이다. 기존 버튼이나 리모컨 방식은 작업자가 장갑을 벗거나 작업을 멈춰야 할 수 있으며, 오염된 손으로 조작하면 장비와 주변 환경으로 오염이 확산될 수 있다. LightGuard는 사용자가 이미 보유한 스마트폰 플래시나 손전등을 입력 도구로 활용하므로 별도의 입력 장치를 관리할 필요가 없다.

두 번째 특징은 모든 영상 처리와 인공지능 판별이 장비 내부에서 이루어지는 엣지 인공지능 구조이다. 외부 서버로 영상을 전송하거나 인터넷 연결을 유지할 필요가 없어 네트워크 상태에 따른 동작 중단 가능성을 줄였다. 카메라 영상 전체를 장기간 저장하는 대신 밝은 점의 이동 정보만 추출하여 궤적을 구성하므로 시스템이 실제로 필요한 방향과 형상 정보에 집중할 수 있다. RDK X5의 상태 화면을 통해 어떤 궤적이 입력됐고 시스템이 이를 어떻게 판단했는지도 확인할 수 있다.

세 번째 특징은 인공지능과 안전 제어의 역할을 분리한 구조이다. 인공지능은 사용자의 의도를 판별하지만 실제 장비 출력 여부는 독립된 STM32 안전 제어기가 결정한다. STM32는 통신이 정상적으로 유지되는지, 장애물이 가까이 접근했는지, 물리 비상 정지가 입력됐는지, 현재 장비가 시작 가능한 상태인지를 종합적으로 확인한다. 이상 상태가 발생하면 릴레이 출력을 차단하고, 통신이 복구되더라도 사용자의 새로운 시작 입력 없이 자동으로 장비를 다시 작동시키지 않는다. 긴급 정지 상태도 사용자가 현장에서 직접 해제하기 전까지 유지하도록 구성했다.

네 번째 성과는 카메라, 인공지능, 통신, 안전 제어와 출력 장치를 하나의 기능 경로로 통합한 것이다. 실제 빛 입력이 카메라에서 궤적으로 변환되고, 인공지능 판별을 거쳐 STM32에 전달된 뒤 장비 상태가 변화하는 전 과정을 확인했다. 개발 과정에서 발생한 카메라 초기화 문제, RS-485 통신 장치 불량과 실제 사용자 X 궤적의 판별 문제도 각 기능을 분리해 점검하는 방식으로 해결했다. 문제가 발생했을 때 전체 프로그램을 무조건 수정하지 않고 카메라, 통신, 모델과 제어기를 단계별로 시험하여 원인을 확인한 뒤 필요한 부분만 보완하였다.

LightGuard는 단순한 인공지능 시연이 아니라 사용자 입력, 현장 처리, 안전 판단과 출력 제어를 결합한 통합 제어 시스템이라는 점에서 의미가 있다. 카메라와 인공지능 보드는 사용자의 입력을 해석하고, STM32는 실제 장비의 안전 상태를 책임지는 구조로 역할을 구분했다. 이를 통해 인공지능의 편의성과 독립 안전 제어기의 신뢰성을 함께 활용할 수 있는 비접촉 보조 입력 시스템을 완성하였다.

■ 향후 개선 계획

향후에는 사용자와 작업 환경이 달라져도 안정적으로 사용할 수 있도록 실제 사용 자료를 확대할 계획이다. 사용자의 키와 자세, 빛을 움직이는 속도, 촬영 거리, 광원의 종류, 실내 조명과 반사 조건에 따라 궤적이 달라질 수 있으므로 다양한 환경에서 입력 자료를 수집하고 판별 방식을 보완해야 한다. 작업등, 반사광, 순간적인 빛 노출과 같은 비의도 입력도 반복적으로 확인하여 실제 작업 환경에서 잘못된 명령이 발생할 가능성을 낮출 예정이다.

하드웨어는 현재의 시제품 배선을 전용 회로 기판과 보호 케이스 구조로 개선할 계획이다. 카메라와 센서의 위치를 고정하고 배선이 쉽게 분리되지 않도록 정리하며, 전원 보호 회로와 절연형 통신 장치를 적용해 현장 사용 안정성을 높일 예정이다. 물리 비상 정지와 릴레이 전원 차단 수단은 인공지능 시스템과 독립적으로 유지하고, 전원 재인가, 통신 단절, 센서 오류와 프로그램 종료 상황에서도 출력이 안전하게 차단되는지 반복 확인할 필요가 있다.

사용자 편의 기능도 보완할 예정이다. 현재 상태, 입력된 궤적, 제어 요청과 고장 원인을 더욱 쉽게 확인할 수 있도록 상태 화면과 표시등 구성을 개선하고, 잘못된 궤적을 입력했을 때 사용자가 원인을 이해할 수 있는 안내 기능을 추가할 수 있다. 장비별로 필요한 동작을 설정할 수 있도록 입력 궤적과 제어 요청의 대응 관계를 관리하는 기능도 검토할 예정이다.

최종적으로는 실험실 환기 장치, 저속 펌프, 작업 조명과 같이 작업을 보조하는 저전압 장비를 대상으로 현장 시범 적용을 진행할 계획이다. 실제 사용자 의견을 반영해 입력 방법과 설치 위치를 개선하고, 장기간 반복 동작과 고장 상황 검증을 거쳐 시스템의 적용 범위를 단계적으로 확대할 예정이다. 실제 산업 장비에 적용할 때에는 안전 인증과 위험성 평가를 별도로 수행하고, LightGuard는 기존 물리 안전장치를 대체하는 장치가 아니라 작업 편의를 높이는 보조 입력 수단으로 활용할 계획이다.