BARRED: 비대칭 토론을 통한 맞춤형 정책 가드레일의 합성 데이터 학습

특정 서비스나 도메인에 맞춘 AI 안전 가드레일을 구축하려면 대량의 수작업 데이터가 필요했지만, 이 논문은 소량의 예시만으로 고품질 학습 데이터를 자동 생성하는 방법을 제시합니다. 이를 통해 저사양 소형 모델로도 최신 대형 언어 모델보다 정확하고 빠른 맞춤형 보안 필터를 구현할 수 있습니다.

기존의 가드레일 모델은 미리 정의된 위험 카테고리에는 강하지만, 사용자가 정의한 새로운 정책(Custom Policy)에는 유연하게 대응하지 못하는 한계가 있다. 이를 해결하기 위해 LLM을 활용한 합성 데이터 생성이 시도되었으나, 생성된 데이터가 특정 유형에만 쏠리는 '모드 붕괴(Mode Collapse)' 현상과 LLM이 스스로 매긴 라벨이 틀리는 '라벨 노이즈' 문제가 성능 저하의 원인이 된다.

BARRED는 이 문제를 해결하기 위해 먼저 정책을 구성하는 핵심 속성들을 여러 '차원(Dimension)'으로 쪼개어 인식한다. 예를 들어 '혐오 표현' 정책이라면 공격 대상, 표현 수위, 문체 등으로 차원을 나누고 각 조합을 골고루 샘플링하여 데이터의 다양성을 확보한다. 이는 Embedding 공간에서 특정 군집에만 데이터가 몰리지 않도록 강제로 분산시키는 효과를 준다.

마지막으로, 생성된 데이터의 라벨이 정확한지 검증하기 위해 '비대칭 토론'을 활용한다. 한 에이전트는 무조건 해당 라벨이 맞다고 우기는 '옹호자' 역할을 수행하고, 다른 에이전트들은 '심판'이 되어 논리적 허점을 찾는다. 이 과정에서 심판들이 만장일치로 동의할 때까지 데이터를 수정하거나 폐기함으로써, 학습 데이터에 포함되는 라벨의 신뢰도를 극대화한다.

BARRED 파이프라인은 네 단계로 구성된다. 첫째, Dimension Decomposition 단계에서 정책 설명과 소수 예시를 입력받아 작업 관련 차원 D를 추출한다. 각 차원 d_i에 대해 Verbalized Sampling을 수행하여 가능한 구체화 세트 V_i를 생성한다.

둘째, Sample Generation 단계에서 차원 d_i, 구체화 v, 타벨 y를 균등하게 샘플링한다. [입력값: (d_i, v, y) → 연산: LLM 프롬프팅 → 출력 의미: 정책 경계에 위치한 도전적인 텍스트 샘플 x와 그 이유 r] 순으로 데이터를 생성한다.

셋째, Debate-based Validation 단계에서 비대칭 토론을 수행한다. 옹호자 A는 (x, y, r)을 고수하고, 심판진 J는 독립적으로 평가한다. [입력값: A의 주장과 J의 판단 → 연산: T 라운드간의 상호작용 → 출력 의미: 모든 심판이 y에 동의하면 유효 데이터로 판정]하는 방식이다.

넷째, Iterative Refinement 단계에서는 검증에 실패한 샘플을 버리지 않고 심판의 피드백을 반영해 수정한다. 최대 R_max 횟수만큼 반복하여 최종 학습 데이터셋 G를 구축하고, 이를 활용해 소형 모델을 파인튜닝한다.

실험 결과, BARRED로 학습된 14B 모델(ft-Qwen14B)은 4가지 가드레일 작업(반복 처리, 개인정보 보호, 계획 검증, 건강 상담)에서 GPT-4.1 및 GPT-5-mini를 포함한 모든 베이스라인을 능가했다. 특히 'Health' 작업에서 ft-4.1-nano 모델은 0.99의 정확도를 기록하여 원본 GPT-4.1(0.85)보다 월등한 성능을 보였다.

Ablation Study에 따르면, 토론 검증 과정을 제거할 경우 인간 주석 데이터셋에서 정확도가 약 27% 하락하는 것으로 나타났다. 이는 단순한 자가 수정(Self-Refine)보다 다중 에이전트 간의 비대칭 토론이 라벨 노이즈 제거에 훨씬 효과적임을 의미한다.

모델 크기에 따른 분석에서는 반복 처리와 같은 단순 작업은 1.5B 규모에서 성능이 포화되지만, 개인정보 보호나 건강 상담과 같은 복잡한 도메인은 모델 파라미터가 커질수록 성능이 지속적으로 향상되는 스케일링 법칙이 확인되었다.

BARRED는 데이터 생성 시 'Boundary Case'에 집중하도록 설계되었다. 이는 결정 경계 근처의 모호한 샘플이 분류기 학습에 가장 큰 정보량을 제공한다는 직관에 기반한다. 토론 시스템은 옹호자가 절대 입장을 바꾸지 않는 비대칭 구조를 채택하여, 심판들이 단순히 다수결에 따르는 것이 아니라 옹호자의 논리를 엄격하게 검증하도록 강제한다.

구현 측면에서 생성 모델과 토론 에이전트로는 GPT-5-mini를 사용했으며, 학생 모델로는 Qwen2.5 시리즈를 활용해 LoRA(Rank=8 또는 16) 파인튜닝을 진행했다. 학습 데이터는 작업당 N=1000개를 생성했으며, 이는 수만 개의 일반 안전 데이터를 섞어 쓰는 기존 방식보다 훨씬 효율적이다.

본 연구는 이진 분류(Binary Classification) 작업에 초점을 맞추고 있어, 다중 라벨(Multi-label)이나 계층적 분류 설정으로의 확장이 향후 과제로 남아 있다. 또한 데이터 생성 과정에서 다수의 LLM 호출이 발생하므로 초기 생성 비용이 발생한다는 점이 언급되었다.