PolicyShiftGuard: 정책 번들에 적응 가능한 이미지 가드레일 벤치마크와 두 단계 학습법

이미지 안전성은 이미지 자체의 속성이 아니라 적용되는 정책과의 관계라는 점을 본문이 반복적으로 실증했다. 실제 배포에서는 제품, 연령대, 지역별로 허용 기준이 달라 동일 이미지가 허용될 수도 차단될 수도 있으므로, 정책 텍스트를 런타임으로 받아 상황에 맞게 결정을 바꿀 수 있는 가드레일이 필요하다. 본 연구는 그러한 요구를 직접 측정하는 벤치마크와 이를 목표로 설계된 학습 절차를 함께 제시해 실무적 평가 기준과 모델 개선 방향을 제공했다.

문제의 출발점은 이미지 안전성 판단이 이미지만으로 결정되는 단일 분류 문제가 아니라, 런타임으로 주어지는 정책 텍스트에 바인딩되어야 하는 조건부 결정이라는 점이다. 기존 접근법은 이미지 수준의 위험 신호를 감지하는 능력에 의존했으나, 동일 시각적 단서가 서로 다른 정책 하에서 허용 또는 차단으로 달라지는 경계 사례를 처리하지 못했다. 따라서 모델은 먼저 이미지로부터 안정적인 속성(attributes)을 추출하고, 그 속성 벡터를 현재 활성화된 정책 규칙에 적용해 최종 결정을 도출하는 방식으로 동작해야 한다.

해결 원리는 명확한 분리와 대조 학습에 있다. 첫째로 이미지에서 감지된 원자적 속성은 정책 판단과 분리되어 결정적 규칙에 의해 라벨로 환원된다. 둘째로 학습 과정에서 정책 번들의 표면 표현을 무작위화해 모델이 순서나 템플릿에 의존하지 않도록 하고, 이어서 같은 이미지와 위험 카테고리에 대해 허용과 차단이 모두 존재하는 '경계쌍'을 사용해 쌍간 점수 차이를 강제로 확보한다. 이 쌍간 학습은 차단 정책이 허용 정책보다 높은 'unsafe' 점수를 갖도록 조정함으로써 정책 전환 시 결정이 실제로 뒤바뀌게 만든다.

이 접근은 기존의 단일 라벨 인식과 비교해 정책-조건화된 일반화를 가능하게 한다. 무작위화된 정책 표현은 표면적 지름길을 제거해 모델이 정책 텍스트 자체를 파싱하도록 유도하며, boundary-pair 손실은 정책이 바뀔 때 모델 출력의 우선순위를 재정렬한다. 결과적으로 동일한 이미지 증거에 대해 정책에 따라 결정을 달리 내릴 수 있는 능력이 유의미하게 증가했다.

전체 접근은 데이터 파이프라인 설계와 두 단계 학습으로 구성된다. 데이터 단계에서는 사람/모델 혼합 어노테이터가 이미지별로 범주별 속성(attribute)을 예측하고, 이 속성 집합에 대해 각 정책 규칙을 결정적으로 적용해 pass/block 라벨을 생성했다. 이렇게 하면 라벨의 원인이 특정 속성 변화인지 정책 규칙 변화인지 추적 가능해지며, 동일한 이미지 속성에 대해 정책만 바뀌어 라벨이 뒤바뀌는 경계 사례를 대량으로 생성할 수 있었다.

학습 단계의 1단계 RP-SFT는 정책 번들과 목표 정답 문자열을 입력으로 받아 next-token 예측 손실로 최적화했다. 이 단계에서 정책 번들의 순서, 카테고 슬롯, 표면 식별자는 ρ 함수로 무작위화되어 입력과 목표 문자열 모두에 동일한 변환이 적용되었다. 무작위화는 고정된 포지션 또는 템플릿에 의존한 단순 지름길을 제거해 모델이 정책 본문을 읽어 규칙을 바인딩하도록 유도했다.

2단계 BP-Adapt는 RP-SFT 체크포인트를 기반으로 경계쌍 데이터에 대해 추가 파인튜닝을 수행했다. 손실 함수는 교차엔트로피 ℒ_CE에 더해 ℒ_label, ℒ_cat, ℒ_pair의 가중 합으로 구성되며, 핵심 항은 ℒ_pair = max(0, m - [s(true|q⁺) - s(true|q⁻)])로 정의돼 차단 쪽의 unsafe 점수 s(true|q⁺)가 허용 쪽보다 마진 m만큼 크도록 학습한다. 이 설계는 각 프롬프트를 개별적으로 맞추는 것뿐만 아니라 동일한 시각 증거에서 정책별 점수 우선순위를 재조정하는 역할을 한다.

추가적으로 품질 관리를 위해 어노테이터 간 필드 수준 합의, 결정적 검증기, 인간 감사가 병행됐다. canonical voted metadata에서 97.5%가 3인어노테이터 전원 일치였고, 데이터셋 수준의 분할 위생과 이미지 불일치 방지를 위해 학습/평가 분할을 이미지단위로 분리했다. 이러한 파이프라인은 라벨 생성의 감사 가능성과 경계쌍의 신뢰도를 담보했다.

PolicyShiftGuard는 PolicyShiftBench에서 정책-조건화 성능을 크게 개선했다. 논문이 보고한 주요 수치는 PolicyShiftGuard-7B가 평균 Avg. F1 76.9와 Avg. PSS 72.1을 달성했으며, 같은 백본을 사용한 베이스라인 대비 F1과 PSS에서 큰 폭의 향상을 보였다고 표로 제시됐다. 이 결과는 단순한 모델 크기 확장만으로는 달성하기 어려운 정책 적응 능력의 개선을 의미한다.

교차 벤치마크 전이성도 확인됐다. PolicyShiftGuard는 UnSafeBench와 SafeEditBench로의 전이에서 우수한 성적을 보였으며, PolicyShiftGuard-7B가 UnSafeBench·SafeEditBench·Adaptive/Shift 스플릿의 평균에서 최고 성능을 보였다고 보고됐다. 이 전이는 학습이 시각 증거와 정책 텍스트의 결합을 실제로 바인딩하는 능력을 향상시켰음을 시사한다.

지연-성능 측면에서는 출력 형식을 간결하게 설계한 덕분에 추론 지연이 줄어들면서 성능이 향상되는 결과가 관찰됐다. 예컨대 Qwen2.5-VL-7B의 추론 지연이 273.3ms였던 반면 PolicyShiftGuard-7B는 163.9ms로 감소했고, 이와 동시에 Avg. F1과 PSS가 개선됐다. 또한 RP-SFT와 BP-Adapt의 구성요소별 ablation은 pair loss와 concise final-token supervision의 중요성을 실험적으로 확인했다.

전체 아키텍처는 Qwen2.5-VL 백본을 초기화로 사용하는 소형 멀티모달 가드레일 모델과, 속성 추출을 위한 멀티모달 어노테이터 및 결정적 정책 규칙으로 구성된 데이터 파이프라인으로 구성된다. 입력은 이미지와 일곱 개 카테고리에 대한 정책 번들이며 출력은 간결한 구조화된 문자열(예: "true | XX" 또는 "false")이다. 출력이 간결하므로 첫 토큰으로도 이진 결정을 얻을 수 있어 추론 지연을 낮출 수 있다.

핵심 알고리즘은 두 단계 학습이다. 1단계 RP-SFT는 다양한 정책 표면 변형 ρ를 적용해 모델이 정책 번들을 읽고 바인딩하도록 supervised next-token 예측으로 학습한다. 2단계 BP-Adapt는 매치드 허용/차단 쌍을 사용해 교차엔트로피 외에 카테고리 안정화 손실과 pair margin 손실을 결합한 복합 손실 ℒ_BP를 최적화한다. pair 손실은 차단 쪽의 unsafe 점수 s(true|q⁺)가 허용 쪽 s(true|q⁻)보다 적어도 m만큼 크도록 강제한다.

수학적 관점에서 pair loss는 쌍간 점수 차이를 명시적으로 최적화하는 형태이며, 이는 단일 프롬프트별 정답률을 높이는 것만으로는 확보하기 어려운 정책-민감한 순위 정보를 모델에 주입한다. 예를 들어 같은 이미지에서 q⁺는 차단, q⁻는 허용인 경우 ℒ_CE는 각각을 올바르게 맞추도록 하고 ℒ_pair는 모델이 q⁺에 대해 더 큰 unsafe 점수를 출력하도록 점수 경계(m)를 유지하게 한다. 이 구조가 없다면 모델은 단순히 이미지에 기반한 위험 신호만으로 일관되게 차단하거나 통과하는 편향을 갖게 된다.

구현 및 학습 세부사항에서는 RP-SFT에 3,000개의 no-think 예시와 think/diagnostic 예시, BP-Adapt에 3,816개의 경계쌍을 사용해 총 9,816개의 학습 인스턴스를 구성했다. 데이터의 품질 보증을 위해 어노테이터 3인 합의, 결정적 검증 도구, 그리고 사람 감사를 조합해 메타데이터의 일관성을 확보했다.

논문은 RP-SFT만으로는 보유하지 않은 정책 정의에 대한 안정적 적응을 보장하지 못한다는 점을 명시했다. 특히 무작위화된 정책 표현이 표면적 지름길을 제거하는 데 기여했으나, 경계쌍 기반의 추가적 손실이 없으면 Shift Split에 대한 PSS 개선이 충분치 않았다고 보고됐다. 또한 논문은 일부 위험 카테고리(예: 규제 물품, IP·브랜드, 텍스트-in-이미지, PII)가 시각적 속성 추출과 세밀한 예외 처리를 요구하기 때문에 여전히 난이도가 높다는 것을 실험적으로 확인했다.