금지 명령 대신 '인지 상태 유도'를 활용한 5가지 안티 슬롭(Anti-slop) 시스템 프롬프트

실용적 조언

시스템 프롬프트 작성 시 '하지 마라'는 금지어 대신 모델이 취해야 할 인지적 상태를 구체적으로 묘사할 것
프롬프트가 너무 제약적일 경우를 대비해 '기록물 인용 허용'과 같은 예외 조항(Release Valve)을 추가할 것

섹션별 상세

금지 명령의 역효과에 대해 분석했다. '홍보 문구를 쓰지 마라'와 같은 부정적 명령은 모델 내부에서 해당 개념의 표현을 오히려 활성화하여 결과물을 악화시킨다. 이는 '분홍색 코끼리를 생각하지 마라'는 명령이 코끼리를 떠올리게 하는 것과 동일한 메커니즘으로 작동한다. 따라서 직접적인 금지 대신 다른 접근 방식이 필요함을 확인했다.

인지 상태 유도(Cognitive State Induction) 기법을 제안했다. 문장을 하중을 견뎌야 하는 목재처럼 다루는 '목수'나, 화려한 형용사가 없는 언어에서 온 '번역가' 등의 상태를 묘사하여 입력한다. 모델이 특정 인지적 제약 조건 하에서 사고하게 함으로써 자연스럽게 저품질 텍스트(slop)가 생성되지 않는 환경을 구축한다. 이 방식은 모델의 창의성을 억압하지 않으면서도 출력의 질을 조절하는 데 효과적이다.

슬롭의 '유압적(Hydraulic)' 성질을 발견했다. 특정 슬롭 채널인 어휘나 헤징(hedging) 표현을 억제하면, 대시(em dash) 사용 빈도가 급증하는 등 다른 채널로 압력이 전이되는 현상이 나타났다. 이는 모델이 가진 표현의 욕구가 다른 형태의 상투적 패턴으로 분출되는 것으로 해석된다. 따라서 전체적인 균형을 맞추는 종합적인 프롬프트 설계가 필수적이다.

실험 결과와 예외 상황에 대한 데이터를 공유했다. 9가지 지표로 구성된 루브릭 점수에서 기본 Claude는 27점 만점에 15점을 기록했으나, '목수' 프롬프트 적용 시 3점으로 품질이 대폭 향상됐다. 다만 '목격자' 프롬프트의 경우, 자신이 직접 보지 않은 정보는 작성할 수 없다고 판단하여 응답을 거부하는 과잉 충성 현상이 발생했다. 이를 해결하기 위해 출판된 기록물도 목격한 것으로 간주하라는 '릴리스 밸브(release valve)' 문구를 추가하여 문제를 해결했다.

용어 해설

슬롭(Slop): — AI가 생성한 텍스트 중 'vibrant tapestry'와 같이 상투적이고 저품질인 표현들을 일컫는 용어이다. 모델이 학습 데이터의 패턴을 무분별하게 반복할 때 발생하며, 글의 전문성과 신뢰도를 떨어뜨리는 요인이 된다.
인지 상태 유도(Cognitive State Induction): — 모델에게 특정 행동을 금지하는 대신, 특정 사고 방식을 가진 인물의 심리적 상태를 묘사하여 자연스럽게 원하는 출력을 유도하는 기법이다. 금지 명령이 가져오는 역효과를 피하고 모델의 내적 일관성을 유지하는 데 도움을 준다.
엠 대시(Em Dash): — 문장 내에서 부연 설명이나 강조를 위해 사용하는 긴 줄표(—)이다. AI가 문장을 연결할 때 과도하게 사용하는 경향이 있어, 이를 억제하는 것이 텍스트의 자연스러움을 높이는 핵심 지표 중 하나로 활용된다.
환각 현상(Hallucination): — LLM이 사실과 다른 정보를 마치 사실인 것처럼 자신 있게 생성해내는 현상이다. 본문에서는 모델이 인지 상태에 너무 몰입하여 정보를 거부하는 현상이 환각이 아닌 논리적 일관성임을 대조하며 언급됐다.

언급된 도구

Claude추천

실험 대상 LLM 모델

언급된 리소스

문서Anti-slop Substack Writeup

GitHubFull Philtres Library GitHub