Gemini와 IMDb를 활용한 실시간 영화 배우 식별 시스템 구축기

섹션별 상세

Gemini API는 인물 식별에 대한 제약이 적어 영화 속 배우를 찾아내는 데 효과적이다. mpv 스크린샷을 입력으로 받아 배우의 이름과 가장 유명한 출연작, 그리고 IMDb ID를 반환하도록 프롬프트를 구성했다. 하지만 실제 테스트에서 배우 이름은 정확히 맞추면서도 IMDb ID는 전혀 다른 배우의 것을 반환하는 매핑 오류가 빈번하게 발생했다.

Jane Russell이 등장하는 영화 화면 위에 Geoffrey Rush의 사진이 잘못 오버레이된 모습 — ScreenshotGemini가 배우는 정확히 식별했으나 IMDb ID 매핑 오류로 인해 엉뚱한 배우의 사진을 불러온 실제 사례를 보여준다. 시스템의 핵심 문제점인 LLM의 데이터 매핑 부정확성을 시각적으로 증명한다.

mpv의 OSD에 이미지를 표시하기 위해서는 ImageMagick을 이용한 정교한 포맷 변환이 필수적이다. mpv는 헤더가 없는 raw BGRA 포맷을 요구하며, 이를 위해 ImageMagick의 `bgra:` 의사 포맷과 `-depth 8` 옵션을 사용하여 변환을 수행했다. 특히 투명 배경 처리를 위해 `-background transparent` 설정을 추가하여 오버레이가 화면을 가리지 않도록 최적화했다.

ImageMagick을 사용한 BGRA 픽셀 순서 변환 명령 예시 — Screenshot입력 이미지를 mpv가 요구하는 BGRA 포맷으로 변환하기 위한 구체적인 CLI 명령어를 포함하고 있다. 기술적 구현 방법론을 설명하는 핵심적인 정보다.

Emacs Lisp으로 작성된 ImageMagick 호출 및 mpv 오버레이 실행 코드 — ScreenshotSVG를 생성하고 ImageMagick을 통해 BGRA로 변환한 뒤 mpv 오버레이 카드로 출력하는 전체적인 소프트웨어 로직을 보여준다. 구현의 기술적 세부 사항을 파악하는 데 중요하다.

LLM 기반의 자동화 시스템은 데이터의 정확성 측면에서 한계를 드러냈다. Jane Russell을 식별하고도 Geoffrey Rush의 IMDb ID를 반환하여 엉뚱한 사진이 출력되는 사례가 확인됐다. 이를 해결하기 위해 LLM을 거치지 않고 직접 IMDb에서 이름을 검색하는 방식을 검토했으나, 동명이인 처리와 유명도 기반 필터링의 어려움으로 인해 완벽한 자동화에는 추가적인 로직이 필요함이 밝혀졌다.

기술

Gemini
ImageMagick
mpv
IMDb API
Emacs Lisp

활용 사례

실시간 영화 정보 오버레이
AI 기반 미디어 메타데이터 자동 추출
커스텀 비디오 플레이어 확장 기능

언급된 리소스

문서IMDb

문서mpv media player