TL;DR
chess-gaze는 체스 스트림 클립을 입력받아 프레임별로 얼굴, 눈, 머리 자세, 시선 벡터를 기록하고 로컬 3D 뷰어에서 이를 시각화하는 오픈소스 파이프라인이다. 시선 추정은 동공 중심 휴리스틱이 아니라 UniGaze 모델을 사용해 얼굴·눈 패치로부터 3D 벡터를 회귀하며 결과는 시간 순서 레코드로 저장되어 뷰어에서 시선 궤적과 머리 회전을 함께 재생할 수 있다. 작성자는 GitHub 저장소와 온라인 데모를 공개해 코드와 결과를 직접 확인할 수 있게 했으나 원문에는 정량적 정확도나 지연 측정 같은 수치적 벤치마크가 없어 성능 한계는 추가 실험으로 검증해야 한다.
섹션별 상세
이미지 분석

이미지는 입력 비디오 프레임에서 얼굴을 감지하고 그 위치에 시선 관련 오버레이를 겹쳐 표출한 결과를 보여준다. 중앙의 체스보드 캡처와 우측의 원형 3D 뷰어는 프레임별로 추정된 시선 벡터를 시간 축에 따라 공간적으로 매핑해 시각화하는 방식을 시각적으로 증명한다. 해당 스크린샷은 파이프라인이 얼굴·눈 검출, 시선 추정, 그리고 뷰어 렌더링을 연속적으로 수행함을 직접 확인할 수 있는 근거 이미지를 제공한다.
체스 스트림 화면과 오버레이된 얼굴 바운딩 및 시선 벡터가 보이며 우측에 3D 뷰어와 시선 점이 함께 표시된 스크린샷이다.

둘째 이미지는 시선 화살표가 보드의 특정 칸을 향하는 장면을 캡처해 시선과 보드 객체 간의 대응을 시각적으로 확인할 수 있게 한다. 또한 뷰어의 점과 연결선은 프레임 시퀀스에서 시선 추정이 연속적인 벡터 형태로 저장되고 재생된다는 구현 특성을 드러낸다. 이 이미지는 도구의 출력물이 단순한 좌표가 아니라 시각적 재생 가능한 형태로 정리된다는 점을 증명한다.
동일한 데모 장면의 다른 리졸루션 스냅샷으로 얼굴 바운딩, 시선 화살표, 체스보드와 뷰어의 상호 연동을 보여준다.
용어 해설
- UniGaze
- — UniGaze는 얼굴과 눈 패치를 입력으로 받아 3차원 시선 벡터를 회귀하는 모델이다. 입력으로 눈과 얼굴의 이미지 정보를 함께 사용해 머리 회전과 안구 움직임을 구분하며 단일 픽셀 기반 동공 중심 휴리스틱보다 더 견고한 시선 추정을 생성한다. 해당 프로젝트에서는 시선 추정 단계에서 UniGaze를 적용해 프레임별 시선 벡터를 산출하는 데 사용되었다.
- Gaze Estimation
- — 시선 추정은 이미지나 비디오에서 사람의 시선 방향을 수치화하는 과정으로, 얼굴·눈 영역을 검출해 그에 대응하는 2D 또는 3D 벡터를 예측한다. 이 과정은 얼굴 랜드마크, 눈의 패치, 머리 자세 정보를 결합해 진행되며 다양한 조명과 시야각 변화에 견고해야 실용성이 확보된다. 본 게시물의 도구는 프레임별로 시선 벡터를 기록하고 시각화하는 워크플로에서 이 개념을 중심으로 활용한다.
- Pupil Center Heuristic
- — 동공 중심 휴리스틱은 눈 이미지에서 동공의 중심 좌표를 단일 포인트로 추출한 뒤 이를 카메라 좌표로 매핑해 시선 방향을 근사하는 간단한 방법이다. 이 방식은 계산 비용이 낮지만 눈의 기울기나 머리 회전에 민감하여 3D 시선 벡터를 정확히 재현하지 못할 수 있다. 원문에서는 이 휴리스틱 대신 UniGaze 기반 추정을 사용했다고 명시되어 있다.
- Head Pose Estimation
- — 머리 자세 추정은 얼굴의 3차원 회전 각도(pitch, yaw, roll)를 사진이나 비디오에서 계산하는 과정으로, 얼굴 랜드마크와 카메라 내부 파라미터를 활용해 수행된다. 시선 추정과 결합하면 눈의 상대적 움직임과 머리 회전을 분리해 보다 정확한 시선 벡터를 얻을 수 있다. 이 프로젝트는 프레임별로 얼굴·눈·머리 자세 정보를 함께 기록해 시각화에 활용한다.
언급된 도구
체스 스트림 클립을 처리해 프레임별 얼굴·눈·머리자세·시선 레코드를 생성하고 로컬 3D 뷰어로 시각화하는 파이프라인 도구
얼굴과 눈 패치에서 3D 시선 벡터를 회귀하는 시선 추정 모델
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.