제어 가능한 이미지 편집을 통한 차량 탐지기 대상 인더와일드(In-the-Wild) 위장 공격

기존의 적대적 공격은 픽셀 단위의 미세한 노이즈나 부자연스러운 패치를 사용하여 인간이 쉽게 알아챌 수 있었으나, 이 논문은 주변 환경과 조화를 이루는 자연스러운 위장 패턴을 생성하여 탐지기를 속인다. 이는 자율주행 시스템이나 국방 분야에서 시각 지능 모델의 취약성을 현실적으로 평가하고 보안을 강화하는 데 중요한 이정표가 된다.

딥러닝 기반 객체 탐지기는 이미지 내의 픽셀 패턴을 분석하여 객체의 경계를 식별한다. 기존의 적대적 공격은 이 픽셀 값에 아주 작은 노이즈를 더해 모델의 계산 과정을 교란하지만, 이는 인간의 눈에는 어색한 노이즈로 보이거나 실제 환경의 다양한 조명 조건에서 공격 효과가 사라지는 문제가 있다.

본 논문은 확산 모델(Diffusion Model)의 제어 기술인 ControlNet을 활용하여 이 문제를 해결한다. 차량의 기하학적 구조를 유지하기 위해 휘도(Luminance) 채널을 제약 조건으로 사용하고, 주변 환경의 스타일을 추출하여 차량 표면에 입히는 방식을 취한다. 이는 마치 카멜레온이 주변 색상에 맞춰 피부색을 바꾸는 것과 같은 원리를 딥러닝의 잠재 공간(Latent Space)에서 구현한 것이다.

결과적으로 생성된 위장 패턴은 탐지기에게는 배경의 일부로 오인하게 만들면서도, 인간 관찰자에게는 자연스러운 차량의 도색이나 반사광처럼 보이게 한다. 이는 공격의 효과성과 은밀성(Stealthiness)이라는 두 마리 토끼를 잡은 것으로, AI 모델이 시각적 맥락을 어떻게 해석하는지에 대한 근본적인 취약점을 파고든다.

전체 프레임워크는 Stable Diffusion v1.5와 ControlNet을 기반으로 하며, No-Box와 White-Box의 2단계 파인튜닝 과정을 거친다. No-Box 단계에서는 탐지기 정보 없이 구조 보존 손실($L_{struct}$)과 스타일 손실($L_s$)을 통해 자연스러운 위장 이미지를 생성하는 능력을 학습한다. 스타일 참조 선택을 위해 이미지 레벨에서는 차량 주변 마스크를 확장하여 스타일을 추출하고, 씬 레벨에서는 MLLM(MoonDream, GPT-4o)을 사용하여 씬의 카테고리를 분류한 뒤 해당 카테고리의 대표 개념 이미지를 생성하여 참조한다.

White-Box 단계에서는 타겟 탐지기($M_{det}$)를 도입하여 적대적 손실($L_{adv}$)을 최적화한다. $L_{adv}$는 위장된 차량이 포함된 합성 이미지($x_{comp}$)를 입력으로 받아 탐지기가 이를 배경으로 분류하도록 유도하는 Cross-Entropy Loss를 계산한다. [합성 이미지 입력 → 탐지기 추론 → 배경 확률 계산 → 오차 산출] 이 값이 작아질수록 탐지기는 차량을 배경의 일부로 착각하게 된다.

색상 일관성 손실($L_c$)을 추가하여 적대적 최적화 과정에서 차량의 색상이 급격하게 변하는 것을 방지한다. 이는 1단계의 고정된 ControlNet 출력과 현재 학습 중인 모델의 출력 간 LAB 색상 공간에서의 AB 채널 차이를 최소화하는 방식이다. [두 모델의 출력 이미지 입력 → AB 채널 추출 → $L_2$ 거리 계산 → 색상 변동 억제] 이 과정을 통해 시각적으로 일관되면서도 탐지 성능을 효과적으로 낮추는 위장 패턴이 완성된다.

LINZ 및 COCO 데이터셋에서 Faster-RCNN과 ViTDet을 대상으로 실험한 결과, 제안된 방법은 기존 SOTA 공격 기법인 AdvCAM 및 Diff-PGD 대비 월등한 성능을 보였다. 특히 LINZ 데이터셋에서 Faster-RCNN의 AP50을 98.3%에서 18.3%로, COCO에서는 85.6%에서 15.0%로 대폭 감소시켰다. 이는 탐지기의 성능을 38% 이상 무력화할 수 있음을 의미한다.

구조적 유사도 지표(SSIM) 측정 결과, 기존 기법들보다 높은 수치를 기록하여 차량의 원래 형태를 더 잘 보존함을 확인했다. 또한 인간 대상 설문 조사에서 씬 레벨 전략의 경우 85.3%의 선호도를 얻어 압도적인 은밀성을 입증했다. 이는 공격용 이미지가 인간에게는 자연스러운 사진으로 인식됨을 시사한다.

블랙박스 전이성 실험에서도 YOLOv5, YOLOv8 등 학습 시 보지 못한 모델들의 탐지 성능을 47.1% 이상 저하시켰으며, MLLM의 차량 존재 분류 정확도 역시 54.5% 감소시키는 강력한 범용성을 나타냈다. 마지막으로 물리적 세계 실험에서 프로젝터를 이용해 3D 모델에 위장 패턴을 투사했을 때도 100%의 공격 성공률을 기록했다.

아키텍처는 Stable Diffusion의 잠재 공간(Latent Space)에서 동작하며, ControlNet은 차량의 휘도(L) 채널을 구조적 가이드로 입력받는다. 이는 색상 정보는 변경하되 형태적 특징은 유지하기 위한 설계이다. 스타일 손실 $L_s$는 LatentLPIPS를 활용하여 VGG 특징 맵 상에서의 $L_1$ 거리를 계산한다. 픽셀 공간이 아닌 잠재 공간에서 연산하므로 메모리 효율적이며, 마스킹된 영역 간의 비교를 통해 배경 간섭을 최소화한다.

씬 레벨 전략에서는 MLLM을 활용한 계층적 씬 분류 파이프라인을 구축했다. MoonDream으로 원시 레이블을 추출하고 GPT-4o로 이를 정제한 뒤, Stable Diffusion으로 참조 이미지를 생성하고 SAM 2로 특정 객체를 세그멘테이션하는 복합적인 워크플로우를 사용한다. 이는 공격자가 특정 환경의 의미론적 정보를 활용해 지능적으로 위장할 수 있게 한다.

물리적 전이 실험을 위해 3D 프린팅과 프로젝터 기반의 하드웨어 셋업을 구성했다. 단안 깊이 추정(Monocular Depth Estimation)을 통해 씬을 재구성하고, 실제 조명 조건 하에서 스마트폰 카메라로 캡처한 이미지를 통해 공격 성공률을 검증했다. 이는 시뮬레이션과 현실 세계 사이의 도메인 갭을 극복할 수 있음을 보여주는 기술적 증거이다.

본 연구는 디지털 이미지 편집 관점에서 접근하여 3D 기하학적 구조나 재질 특성, 시점 변화에 따른 광학적 특성을 명시적으로 모델링하지 않았다. 또한 LAB 공간의 L 채널을 셰이딩의 대리 지표로 사용했으나, 이는 조명과 재질이 얽혀 있어 완벽한 반사율(Albedo) 분리가 어렵다는 한계가 있다.