극한 소음 환경에서의 위조 방지 화자 인증 및 음성 명료화 실현을 위한 엣지 AI 기반 적외선-초음파-오디오 3중 센서 융합 및 결측 모달리티 상호 추론 시스템 개발

프로젝트의 기본적인 아이디어

• 능동적 센싱 융합: \;수동적 마이크에 적외선(입술 개폐, 기하학)과 초음파(도플러 속도, 동역학) 센서를 결합해 실제 발화의 생체 특징(Liveness)을 정밀 포착. \; \; \;

• 스푸핑 원천 차단: \;3차원 입술 움직임과 미세 진동 패턴을 분석하여 녹음(Replay)이나 딥페이크 공격을 물리적으로 식별 및 차단. \; \; \;

• 결측 모달리티 추론: \;소음(Audio 신뢰도 하락)이나 마스크(IR 차단) 등 특정 데이터 유실 시, 머신러닝이 타 센서와의 상관관계를 분석해 신호를 실시간 복원. \; \; \;

• 극한 소음 극복: \;오디오 신호가 붕괴된 SNR 0dB 환경에서도 센서 데이터만으로 발화 시점을 유추해 음성 신호만 분리

 \;

기술적인 초기 개념 작성 (Technical Initial Concept)

• 하드웨어 스펙: \;파라볼릭 효과를 위한 오목한 구형 하우징 중앙에 MEMS 마이크, 주변부에 850nm IR 센서 및 40kHz 초음파 트랜시버 배치. \; \; \;

• AI 모델링: \;시계열 처리에 강한 TCN/1D CNN 기반 경량 모델을 엣지 NPU(Cortex-M55급)에 탑재하여 8ms 이내 초저지연 추론 구현. \; \; \;

• 학습 전략: \;'\;Modality Dropout'\; 기법을 적용해 임의의 센서 신호가 0이 되어도 나머지 센서로 특징 벡터를 복원(Imputation)하도록 학습. \; \; \;

• 신호 처리: \;1kHz(IR)·\;40kHz(US)·\;48kHz(Audio) 이종 데이터 동기화 및 입술 움직임의 100ms 선행성을 이용한 예측적 노이즈 게이팅 수행. \; \; \;

개발 환경 구축과 mems 마이크 보드 테스트 중

극한 소음 환경에서의 위조 방지 화자 인증 및 음성 명료화 실현을 위한 엣지 AI 기반 적외선-초음파-오디오 3중 센서 융합 및 결측 모달리티 상호 추론 시스템 개발

 \;이라는 거창한 시작을 했지만 개발 마이크 보드의 버전이 예전 것이어서 n6 보드의 AI 기본 예제와 간신히 마이크 보드의 작동을 확인 하는 선까지만 성공을 했습니다. 3종의 센서를 모두 연동하여 작동시키는 것까지는 못했지만 n6 보드로 음향 처리등을 하는데 전혀 부족함이 없고 계속 디벨롭해서 진행 하면 되겠다는 방향성을 얻은 것에 만족 하고 있습니다.