중증 장애 아동을 위한 실시간 시선 추적 시스템 개발 및 기술적 피드백 요청

커뮤니티 반응

작성자가 구체적인 기술 스택과 수치를 공개하며 실무적인 비판을 요청했으며, 특히 도메인 갭과 XAI 방법론에 대한 심도 있는 논의를 기대하고 있다.

합의점 vs 논쟁점

합의점

ResNet-18 기반의 경량 모델이 실시간 추론에 적합하다는 점
ONNX를 활용한 CPU 최적화가 모바일 및 저사양 기기 배포에 효과적이라는 점

논쟁점

코사인 유사도 손실 함수가 특정 극단적 각도에서 arccos 손실 대비 안정적인지 여부
일반인 데이터셋으로 학습된 모델의 장애 아동 대상 일반화 가능성

실용적 조언

CPU 환경에서 실시간 추론이 필요할 경우 모델을 ONNX로 내보내어 최적화할 것
시계열 데이터의 떨림 현상을 줄이기 위해 One Euro Filter와 이동 평균을 조합하여 사용할 것

섹션별 상세

모델 아키텍처 및 성능에 대해 ResNet-18 백본에 각 레이어 블록 뒤 CBAM(Convolutional Block Attention Module)을 추가하여 시선 추적의 정확도를 높였다. 입력 이미지는 112x112 크기의 헤드 크롭을 사용하며, M1 MacBook Air CPU 환경에서 ONNX로 실행 시 약 101 FPS(9.88ms)의 추론 속도를 달성했다. Gaze360 데이터셋 기준 검증 오차 4.666도, 테스트 오차 4.662도로 과적합 없이 안정적인 성능을 보였다.

손실 함수 및 최적화 전략으로 3D 단위 시선 벡터에 대해 arccos 기반의 각도 손실 대신 코사인 유사도(Cosine Similarity)를 채택했다. 이는 ±40도 범위 내의 시선 이동을 처리하는 데 있어 계산 효율성을 제공하며 실제 구현 시 안정적인 수렴을 돕는다. 작성자는 이 방식이 특정 각도 범위에서 불안정성을 유발할 가능성이 있는지에 대해 전문가의 의견을 구하고 있다.

도메인 갭 및 데이터셋 한계에 대해 일반 성인 위주의 Gaze360 데이터셋으로 학습된 모델이 실제 타겟 사용자인 SSMI 아동에게 적용될 때의 성능 저하를 우려했다. 특히 사시(Strabismus)나 비정형적인 머리 자세를 가진 아동의 경우 기존 데이터셋과의 분포 차이가 커서 정확도가 떨어질 위험이 크다. 이를 해결하기 위한 데이터 증강이나 전이 학습 전략의 필요성이 논의의 핵심이다.

설명 가능한 AI(XAI) 구현을 위해 치료사 등 비전문가 사용자를 겨냥하여 폐색 민감도(Occlusion Sensitivity) 분석을 선택했다. 112x112 헤드 크롭 이미지에 패치 마스킹을 적용하여 모델이 시선의 어느 부위에 집중하는지 시각화하며, 이는 ONNX 런타임에서 그래디언트 접근이 어려운 기술적 제약을 우회하는 동시에 직관적인 결과를 제공한다.

용어 해설

합성곱 블록 어텐션 모듈(CBAM): — CNN 아키텍처에서 채널 어텐션과 공간 어텐션을 순차적으로 적용하여 중요한 특징에 집중하게 만드는 경량 모듈이다. 특징 맵의 중요한 채널과 위치를 강조함으로써 모델의 표현력을 높이고 시선 추적과 같은 정밀한 작업의 정확도를 개선한다.
개방형 신경망 교환(ONNX): — 서로 다른 딥러닝 프레임워크 간에 모델을 공유하고 최적화하기 위한 개방형 포맷이다. 학습된 모델을 ONNX로 내보내면 특정 하드웨어 가속기나 CPU 환경에서 추론 속도를 극대화할 수 있어 실시간 애플리케이션 구현에 필수적이다.
원 유로 필터(One Euro Filter): — 시계열 데이터의 노이즈를 제거하기 위한 적응형 저역 통과 필터로, 지연 시간을 최소화하면서도 떨림 현상을 효과적으로 억제한다. 시선 추적 시스템에서 눈동자의 미세한 떨림을 보정하여 사용자에게 부드러운 입력 경험을 제공하는 데 사용된다.
폐색 민감도(Occlusion Sensitivity): — 입력 이미지의 특정 부분을 가렸을 때 모델의 출력값이 얼마나 변하는지 측정하여 중요 영역을 파악하는 XAI 기법이다. 모델이 시선을 예측할 때 눈이나 얼굴의 어느 부위를 주로 참고하는지 시각화하여 비전문가도 모델의 판단 근거를 이해하도록 돕는다.

언급된 도구

ONNX Runtime추천

CPU 환경에서의 고속 모델 추론

One Euro Filter추천

시선 데이터 스무딩 및 노이즈 제거