POS-ISP: 작업 인지형 ISP를 위한 시퀀스 레벨의 파이프라인 최적화

기존의 ISP 최적화 방식은 단계별 의사결정으로 인해 학습이 불안정하고 연산 비용이 높았으나, 이 논문은 전체 파이프라인을 한 번에 예측하는 시퀀스 레벨 최적화를 통해 안정성과 효율성을 동시에 확보했다. 특히 모바일 기기 등 자원이 제한된 환경에서 객체 탐지나 세그멘테이션 성능을 극대화할 수 있는 경량 ISP 구조를 제시한다.

전통적인 ISP는 화이트 밸런스, 노이즈 제거 등 정해진 순서대로 작동하지만, 자율주행이나 보안 카메라 같은 특정 작업에서는 이 순서가 최적이 아닐 수 있다. 기존의 강화학습 방식은 체스 게임처럼 매 단계마다 '다음에 어떤 모듈을 쓸까?'를 고민하며 미래 보상을 예측했는데, 이는 계산량이 너무 많고 예측이 틀릴 경우 학습이 매우 불안정해지는 한계가 있었다.

POS-ISP는 이 문제를 문장 생성과 유사한 시퀀스 예측 문제로 치환한다. 딥러닝의 GRU(Gated Recurrent Unit)가 이전 단어들을 보고 다음 단어를 예측하듯, 시퀀스 예측기가 전체 ISP 파이프라인 구조를 한 번에 쭉 뽑아낸다. 이때 각 모듈의 세부 설정값(파라미터)은 별도의 가벼운 신경망이 이미지의 특징을 보고 결정하게 함으로써 구조와 설정을 분리하여 최적화한다.

결과적으로 파이프라인이 완전히 완성된 후에만 성능을 평가하고 그 점수를 보상으로 돌려주는 방식을 취한다. 이는 중간 과정의 복잡한 보상 계산을 생략하게 해주며, 모델이 전체적인 맥락에서 어떤 모듈 조합이 가장 효과적인지를 더 안정적으로 배울 수 있게 한다. 실제 실험에서 객체 탐지 성능은 유지하면서도 연산량은 기존 방식의 4분의 1 수준으로 줄어드는 결과를 얻었다.

POS-ISP는 크게 시퀀스 예측기(Sequence Predictor)와 파라미터 예측기(Parameter Predictor) 두 가지 핵심 컴포넌트로 구성된다. 시퀀스 예측기는 GRU 기반의 순환 정책 네트워크로, 이전 단계에서 선택된 모듈 인덱스 $a_{i-1}$을 입력받아 은닉 상태 $h_i$를 갱신하고 다음 모듈 $a_i$의 확률 분포 $\pi(a_i)$를 출력한다. [이전 모듈 정보 → GRU 연산 → 다음 모듈 확률 분포 생성 → 최적 모듈 선택] 과정을 통해 전체 파이프라인 구조를 결정한다.

파라미터 예측기는 입력 이미지를 64x64로 다운샘플링하여 CNN 인코더에 통과시킨 후, 각 ISP 모듈에 필요한 연속적인 파라미터 값 $\Theta$를 예측한다. [입력 이미지 → CNN 특징 추출 → MLP 디코딩 → 모듈별 파라미터 값 출력] 순으로 계산이 이루어지며, 시퀀스 예측기가 선택한 모듈에 해당하는 파라미터만 실제 ISP 실행에 적용된다.

학습은 REINFORCE 알고리즘을 사용하여 시퀀스 예측기를 업데이트하고, 파라미터 예측기는 작업 손실 함수(Task Loss)와 이미지 품질 저하를 막기 위한 페널티 항 $P$의 합을 역전파하여 학습한다. 보상 $R$은 기준 입력 대비 작업 성능의 향상도로 정의되며, 파이프라인이 완전히 형성된 후의 최종 결과물 $I_{out}$에 대해서만 계산되어 학습의 안정성을 보장한다.

객체 탐지(Object Detection) 실험에서 LOD-Dark 데이터셋 기준 mAP@0.5:0.95 점수 47.8을 기록하여 기존 SOTA 모델인 AdaptiveISP(47.2)를 능가했다. 특히 인스턴스 세그멘테이션(Instance Segmentation) 작업에서는 LIS-Dark 데이터셋에서 mAP 32.1을 달성하며 AdaptiveISP(25.2) 대비 약 27%의 성능 향상을 보였다.

효율성 측면에서 POS-ISP는 압도적인 성능을 입증했다. 파라미터 수는 0.53M으로 DRL-ISP(6.57M)나 AdaptiveISP(7.18M)의 10% 미만 수준이며, 추론 시간(Runtime)은 1.55ms로 측정되어 기존 방식들(12.72ms15.71ms)보다 약 810배 빠르다. 갤럭시 S10 CPU 환경에서의 온디바이스 테스트 결과, AdaptiveISP보다 4배 빠른 실행 속도를 기록했다.

Ablation Study를 통해 시퀀스 예측기의 GRU 구조가 단순히 확률 테이블을 사용하는 것보다 성능이 우수함을 확인했다. 이는 ISP 모듈 간의 상호 의존성을 모델링하는 것이 최적의 파이프라인 구성에 필수적임을 시사한다. 또한 단일 시퀀스만으로도 다양한 조도 환경에서 안정적인 성능을 유지함을 입증했다.

POS-ISP는 ISP 최적화를 마르코프 결정 과정(MDP)으로 모델링하되, 단계별 보상 대신 터미널 보상을 사용하는 시퀀스 레벨 강화학습 프레임워크를 채택했다. 시퀀스 예측기는 $p(\mathcal{A}) = \prod_{i=1}^{T} p(a_i | a_{<i})$를 모델링하며, GRU의 은닉 상태 $h_i$에 FiLM(Feature-wise Linear Modulation) 기법을 적용하여 단계별 임베딩 $s_t$를 주입함으로써 위치 정보를 명시적으로 학습한다.

파라미터 예측기는 시퀀스 조건부(Sequence-conditioned) 방식보다 이미지 전용(Image-only) 방식이 더 우수한 정규화 효과를 가짐을 실험적으로 발견하여 이를 채택했다. 이는 시퀀스 정책이 수렴함에 따라 파라미터 예측기가 자연스럽게 지배적인 시퀀스에 적응하기 때문이다. 또한 학습 시 탐색을 돕기 위해 지수적으로 감소하는 온도 스케줄링(Temperature Scheduling)을 적용한 소프트맥스 샘플링을 사용한다.

구현 측면에서 10개의 후보 ISP 모듈(Exposure, Gamma, Tone Mapping, Contrast, Saturation, Desaturation, White Balance, Denoise, Sharpen/Blur, Color Correction)을 사용하며, 각 모듈은 미분 가능한 연산으로 정의되거나 프록시 네트워크를 통해 근사된다. 학습 시에는 REINFORCE를 통해 이산적인 시퀀스 선택을 최적화하고, 파라미터는 직접적인 경사 하강법으로 최적화하는 하이브리드 전략을 사용한다.

후보 ISP 모듈의 수가 늘어날 경우 탐색 공간이 기하급수적으로 커져 학습 수렴에 더 오랜 시간이 걸릴 수 있다. 또한 현재 구조는 각 다운스트림 작업마다 별도의 학습이 필요하므로, 여러 작업을 동시에 최적화할 수 있는 통합 모델로의 확장이 향후 과제로 남아있다.