ChromaShift 콘텐츠 인식 색각 보정 엔진

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

ChromaShift는 전역 Daltonization의 피부톤 파괴 문제를 해결하기 위해 YOLO 기반 세그먼테이션으로 인물과 동물을 보호하면서 배경에는 강한 색 보정을 적용하는 콘텐츠 인식 파이프라인이다. 비디오에서는 Farneback Optical Flow로 마스크를 프레임간 워핑하고 프레임 히스토그램의 Bhattacharyya distance가 0.35를 초과하면 EMA 마스크를 초기화해 YOLO를 재실행하는 방식으로 깜빡임과 연산 비용을 절감했다. 정적 그래픽은 Laplacian variance로 감지해 HSV에서 Hue Rotation으로 색 충돌을 벌린 뒤 LAB 색공간의 L 채널만 조작해 줄무늬·점 패턴을 삽입하고 CLAHE를 적용해 색이 아닌 명암 기반의 식별을 확보했다. 전체 스택은 Vercel 서버리스로 배포되어 ONNX와 OpenCV 최적화가 병행되었고 작성자는 시간적 평활과 서버리스 추론 튜닝에 대한 추가 경험을 구하고 있다.

섹션별 상세

작성자는 전통적 Daltonization이 사진의 피부톤을 훼손한다는 문제를 제기했고 이를 해결하기 위해 객체 수준의 마스킹을 도입했다. 입력으로 원본 이미지를 받아 YOLO 세그먼테이션(yolo26n-seg)으로 사람·동물 등 의미 영역을 검출한 뒤, 사용자별 CVD 타입에 기반한 물리적 Error Matrix를 계산하고 이 행렬을 세그먼트 마스크와 텐서 곱셈으로 결합해 보정 강도를 영역별로 차등 적용한다. 본 접근은 피부톤 보존을 위해 보정 성분을 주제(subject)에 대해 감쇠시키고 배경에는 강하게 적용하는 구조를 사용했다는 점이 근거로 제시되어 있으며 이는 인물 사진에서 자연스러움을 유지하면서 접근성 보정을 수행하는 실무적 해결책이 된다.

비디오 연속 프레임에서 세그먼테이션을 매 프레임 실행하면 연산 비용이 크고 마스크 엣지에 깜빡임이 발생한다는 문제가 보고되었다. 시스템은 초기 마스크를 얻은 뒤 Farneback Optical Flow로 픽셀 이동을 추정해 마스크를 다음 프레임으로 워핑하고, 프레임 간 그레이스케일 히스토그램의 Bhattacharyya distance를 계산해 거리 값이 0.35를 초과하면 장면 전환으로 판단해 EMA(Exponential Moving Average) 마스크를 플러시하고 YOLO를 강제 재실행하도록 설계했다. 이 과정은 연산량과 깜빡임을 줄이는 한편, 하드 컷이나 큰 카메라 앵글 변화에 대해선 재검출을 통해 마스크 정확도를 회복하는 실전적 트레이드오프를 제시한다.

스포츠 중계 영상에서 마스크 워핑과 색 보정의 안정성을 보여주는 데모 GIF이다. — ScreenshotGIF는 높은 움직임 장면에서 Farneback optical flow 기반 마스크 워핑이 깜빡임을 줄이며 전체 프레임에 일관된 보정을 유지하는 동작을 시각적으로 보여준다. 프레임 간 경계의 매끄러움과 객체 윤곽이 유지되는 점은 EMA 마스크와 장면 전환(히스토그램 Bhattacharyya distance 임계치) 처리가 병행되었기 때문에 관찰 가능한 결과다.

WCAG 1.4.1 준수를 위해 색만으로 정보를 전달하지 않도록 그래픽 요소에 추가적 텍스처를 넣는 문제가 제기되었다. 파이프라인은 Laplacian variance로 파이 차트 같은 이산 그래픽을 탐지한 뒤 HSV에서 Hue Rotation으로 충돌하는 색조를 분리하고 LAB 색공간으로 변환해 cool/warm 매핑을 수행한 다음 L 채널만 조작해 쿨 톤에는 줄무늬, 웜 톤에는 점 패턴 같은 물리적 텍스처를 삽입하며 마지막으로 L 채널에만 CLAHE를 적용해 가장자리를 뚜렷하게 만든다. 이 방식은 색을 변경하지 않으면서 명암 기반의 식별 수단을 추가해 색각 이상자에 대한 그래픽 구분성을 확보하는 구체적 처리 흐름을 제공한다.

배포 측면에서 작성자는 전체 스택을 Vercel의 서버리스 Python으로 운영하면서 OpenCV와 ONNX 파이프라인을 최적화해 타임아웃을 방지했다고 밝혔다. 입력으로 오는 미디어를 실시간에 가깝게 처리하려다 보니 ONNX 추론과 이미지 처리 루틴의 지연이 병목이 되었고, 이에 따라 작성자는 마스크의 시간적 평활(temporal smoothing)과 서버리스 환경에서의 ONNX 최적화 기법을 추가적으로 모색하고 있다. 이 배포 전략은 비용과 지연, 안정성 사이의 균형을 요구하며 개발자는 커뮤니티의 구현 경험과 튜닝 아이디어를 구체적 요구로 제시하고 있다.

용어 해설

달토나이제이션(Daltonization): — 색각 이상자가 인지하지 못하는 색 차이를 보정하기 위해 색공간 변환과 보정행렬을 적용하는 기법으로, 보정 방식에 따라 자연스러운 피부 톤 손상이 발생할 수 있어 대상 영역을 분리해 제한적으로 적용하는 방식이 중요하다.
바타차랴 거리(Bhattacharyya Distance): — 두 확률분포 간 유사도를 측정하는 통계적 거리로, 영상에서는 프레임 간 히스토그램 분포 차이를 계산해 장면 전환이나 변화 탐지의 기준으로 사용된다.
Farneback 광류(Farneback Optical Flow): — 프레임 간 픽셀 이동을 연속적이고 밀집한 벡터장으로 추정하는 알고리즘으로, 기존 분할 마스크를 다음 프레임으로 워핑하여 매 프레임마다 무거운 세그먼테이션을 수행하지 않고도 객체 위치를 추적하는 데 사용된다.
LAB 색공간(LAB Color Space): — 인간 시각 특성에 기반해 밝기(L)와 색상(a,b)를 분리한 색공간으로, 색상 정보를 변경하지 않고 명암(L 채널)만 조절해 디테일을 강조하거나 텍스처를 삽입하는 작업에 적합하다.
CLAHE: — Contrast Limited Adaptive Histogram Equalization의 약자로, 이미지의 지역 대비를 국지적으로 향상시키되 과도한 노이즈 증폭을 막기 위해 대비 한계를 적용하는 기법으로 L 채널에만 적용해 색 왜곡을 피할 수 있다.

언급된 도구

yolo26n-seg중립

사람·동물 등 의미 영역을 검출하기 위한 세그먼테이션 모델로 마스크 생성의 입력 역할을 한다.

ONNX중립

모델을 서버리스 환경에서 효율적으로 서빙하기 위한 런타임/포맷으로 추론 파이프라인 최적화에 사용된다.

OpenCV중립

영상 처리(히스토그램 계산, Laplacian variance, CLAHE 등)와 Farneback optical flow 적용을 위한 라이브러리로 사용된다.

언급된 리소스

DemoChromaShift 라이브 데모