실시간 비디오 스트림 내 이상 행동 및 금지 물체 탐지를 위한 컴퓨터 비전 구현 전략

실용적 조언

MediaPipe는 가벼운 랜드마크 추출에 최적화되어 있어 저사양 환경에서도 실시간 시선 추적이 가능하다.
YOLO 모델을 활용할 때는 탐지하려는 금지 물체(휴대폰, 책 등)에 특화된 데이터셋으로 파인튜닝하는 것이 정확도 향상에 필수적이다.

섹션별 상세

실시간 비디오 스트림에서 시선 이탈, 다중 얼굴 출현, 사용자 부재와 같은 행동 신호를 포착하는 것이 주요 과제이다. 또한 휴대폰, 책, 필기구 등 특정 금지 물체를 식별하여 부정행위 가능성을 탐지하는 기능을 포함한다. 이러한 요구사항은 온라인 시험 감독이나 보안 모니터링 시스템의 핵심 기능에 해당한다.

기술적 구현을 위해 MediaPipe Face Landmarks를 활용한 얼굴 특징점 추출과 YOLO 기반의 객체 탐지 모델을 병합하는 구조를 고려 중이다. MediaPipe는 CPU 환경에서도 가벼운 추론이 가능하여 시선 추적에 유리하며, YOLO는 다양한 물체를 높은 정확도로 실시간 감지하는 데 특화되어 있다. 이 두 기술의 조합이 프로젝트의 시작점으로 적절한지에 대한 기술적 판단을 구했다.

컴퓨터 비전의 이론적 토대와 실무 역량을 동시에 확보하기 위해 검증된 교육 과정을 탐색했다. fast.ai의 실무 중심 딥러닝 강의와 스탠포드 대학의 CS231N 강의가 주요 후보로 거론되었다. 이는 단순한 코드 작성을 넘어 모델의 내부 작동 원리를 이해하려는 학습 의지를 반영한다.

용어 해설

얼굴 랜드마크(Face Landmarks): — 얼굴의 주요 특징점인 눈, 코, 입, 턱선 등을 좌표 데이터로 추출하는 기술이다. 이 좌표들을 분석하여 사용자의 시선 방향이나 머리 각도를 계산할 수 있으며, 실시간 비디오 스트림에서 행동 분석의 기초 데이터로 활용된다.
객체 탐지(Object Detection): — 이미지나 비디오 프레임 내에서 특정 객체의 위치를 사각형 박스로 식별하고 해당 객체가 무엇인지 분류하는 기술이다. YOLO와 같은 모델을 통해 휴대폰이나 책 같은 금지 물체를 실시간으로 감지하여 시스템에 알림을 보낼 수 있다.
이상 탐지(Anomaly Detection): — 데이터의 정상적인 패턴에서 크게 벗어나는 특이한 사례를 찾아내는 기법이다. 본 프로젝트에서는 시선 이탈이나 제3자의 출현 등 사전에 정의된 정상 범위를 벗어나는 행동을 실시간으로 포착하여 부정행위 여부를 판단하는 데 사용된다.
추론(Inference): — 학습이 완료된 AI 모델에 새로운 데이터를 입력하여 결과를 도출해내는 실행 과정을 의미한다. 실시간 비디오 스트리밍 환경에서는 초당 프레임 수(FPS)를 유지하기 위해 모델의 추론 속도를 최적화하는 것이 시스템 성능의 핵심이다.

언급된 도구

MediaPipe추천

얼굴 랜드마크 및 시선 추적을 위한 경량 ML 프레임워크

YOLO추천

금지 물체 식별을 위한 실시간 객체 탐지 모델

언급된 리소스

튜토리얼fast.ai Lesson 1

문서Stanford CS231N