적대적인 사용자 프롬프트가 LLM의 지시 이행 성능을 저하시킨다는 연구 결과

실용적 조언

LLM 애플리케이션 설계 시 사용자의 입력 톤을 중립적으로 순화하는 전처리 과정을 거치면 지시 이행 정확도를 높일 수 있다.
벤치마크 평가 시 전체 정확도뿐만 아니라 답변 분포의 왜곡 여부를 함께 모니터링하여 잠재적인 편향을 감지해야 한다.

섹션별 상세

Llama 3.1, Mistral, Qwen3 등 다양한 아키텍처의 14개 모델 설정에서 적대적 프롬프트가 입력될 경우 지시 이행 성능이 유의미하게 하락했다. 7-8B급 모델에서 평균 7.4%p(상대적 하락폭 약 10%)의 성능 저하가 관찰되었으며, 이는 FP16 정밀도와 Q4 양자화 모델 모두에서 공통적으로 나타났다. 실험은 적대적 프롬프트를 길이와 토큰 수가 일치하는 중립적 프롬프트와 비교하여 단순 변동 효과가 아닌 '적대감' 자체의 영향을 분리해냈다.

모델의 규모(Scale)가 커질수록 적대감으로 인한 성능 저하 폭은 점진적으로 감소하지만 완전히 사라지지는 않았다. 0.6B-8B 모델에서는 9-10%p 수준이던 하락폭이 70B-123B 대형 모델에서는 5-6%p 수준으로 완화되었다. 특히 123B 규모의 Mistral Large에서도 여전히 통계적으로 유의미한 성능 저하가 유지됨이 확인되어 모델 크기만으로는 이 문제를 완전히 해결할 수 없음을 시사했다.

사전 학습(Pre-trained) 단계와 지시 튜닝(Instruction Tuning) 단계 간의 상호작용은 모델 레시피마다 다르게 나타났다. Llama의 경우 지시 튜닝 이후 적대감에 대한 민감도가 크게 증폭된 반면, Qwen3는 오히려 소폭 완화되는 경향을 보였다. 이는 특정 안전 학습(Safety Training)이 일관되게 적대감 민감도를 높인다는 가설을 부정하며, 학습 레시피별로 고유한 반응 패턴이 존재함을 보여준다.

MMLU-Pro 벤치마크에서는 전체 정확도 합계는 안정적이었으나 특정 모델에서 답변 선택지 분포가 왜곡되는 현상이 발견됐다. Llama 3.1 8B FP16 모델의 경우 적대적 프롬프트 하에서 'A' 답변을 선택하는 비율이 8.5%에서 20.3%로 급증하는 등 특정 선택지 편향(Position Bias)이 발생했다. 이러한 분포 붕괴는 전체 정확도 수치에 가려져 보이지 않을 수 있으므로 세부적인 분석이 필요하다는 결론에 도달했다.

용어 해설

지시 이행 평가(IFEval): — LLM이 '특정 단어 포함 금지'나 '특정 형식 준수'와 같은 구체적인 제약 조건을 얼마나 잘 따르는지 측정하는 벤치마크이다. 모델의 실제 지시 이행 능력을 정밀하게 평가하는 지표로 활용된다.
적대감 잔차(Hostility Residual): — 사용자의 적대적인 프롬프트 입력으로 인해 발생하는 모델의 성능 저하분에서 단순한 문구 변동(Perturbation) 효과를 제외한 순수 적대감 기인 성능 하락치를 의미한다.
양자화(Quantization): — 모델의 가중치를 낮은 정밀도(예: FP16에서 INT4)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 본문에서는 Q4 MLX 등의 양자화 환경에서도 성능 저하 현상이 동일하게 나타남을 확인했다.
전문가 혼합 아키텍처(MoE): — 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 추론 효율을 높이는 구조이다. 본문에서는 Dense 모델과 MoE 모델 모두 적대적 프롬프트에 유사한 취약성을 보임을 입증했다.

언급된 도구

MLX중립

Apple 실리콘에서 LLM 양자화 및 추론을 위한 프레임워크