프로젝트의 기본적인 아이디어

• 능동적 센싱 융합: 수동적 마이크에 적외선(입술 개폐, 기하학)과 초음파(도플러 속도, 동역학) 센서를 결합해 실제 발화의 생체 특징(Liveness)을 정밀 포착.   

• 스푸핑 원천 차단: 3차원 입술 움직임과 미세 진동 패턴을 분석하여 녹음(Replay)이나 딥페이크 공격을 물리적으로 식별 및 차단.   

• 결측 모달리티 추론: 소음(Audio 신뢰도 하락)이나 마스크(IR 차단) 등 특정 데이터 유실 시, 머신러닝이 타 센서와의 상관관계를 분석해 신호를 실시간 복원.   

• 극한 소음 극복: 오디오 신호가 붕괴된 SNR 0dB 환경에서도 센서 데이터만으로 발화 시점을 유추해 음성 신호만 분리

기술적인 초기 개념 작성 (Technical Initial Concept)

• 하드웨어 스펙: 파라볼릭 효과를 위한 오목한 구형 하우징 중앙에 MEMS 마이크, 주변부에 850nm IR 센서 및 40kHz 초음파 트랜시버 배치.   

• AI 모델링: 시계열 처리에 강한 TCN/1D CNN 기반 경량 모델을 엣지 NPU(Cortex-M55급)에 탑재하여 8ms 이내 초저지연 추론 구현.   

• 학습 전략: 'Modality Dropout' 기법을 적용해 임의의 센서 신호가 0이 되어도 나머지 센서로 특징 벡터를 복원(Imputation)하도록 학습.   

• 신호 처리: 1kHz(IR)·40kHz(US)·48kHz(Audio) 이종 데이터 동기화 및 입술 움직임의 100ms 선행성을 이용한 예측적 노이즈 게이팅 수행.