금지 명령 대신 '인지 상태 유도'를 활용한 5가지 안티 슬롭(Anti-slop) 시스템 프롬프트

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

금지 명령 대신 특정 인지 상태를 유도하여 LLM의 상투적 표현(slop)을 획기적으로 줄이는 시스템 프롬프트 설계 기법과 실험 결과.

배경

LLM이 생성하는 상투적인 표현(slop)을 줄이기 위해 금지 명령 대신 특정 인지 상태를 유도하는 시스템 프롬프트 5종을 개발하고 그 효과를 실험한 결과를 공유했다.

의미 / 영향

이 토론은 LLM의 출력 품질 개선이 단순한 금지 명령보다 정교한 페르소나 및 인지 상태 설계에 달려 있음을 시사한다. 특히 특정 패턴을 억제할 때 발생하는 부작용(Hydraulic effect)을 고려한 다각도 검증이 실무적으로 중요함이 확인됐다.

커뮤니티 반응

대체로 매우 긍정적이며, 프롬프트 엔지니어링의 새로운 지평을 열었다는 평가와 함께 다른 모델에서의 재현 가능성에 대한 관심이 높다.

주요 논점

01찬성다수

인지 상태 유도 방식이 기존의 금지 기반 프롬프트보다 훨씬 효과적이며 논리적이다.

합의점 vs 논쟁점

합의점

부정적 프롬프트는 종종 역효과를 낸다.
프롬프트 설계 시 모델의 거부 반응을 방지하기 위한 안전장치가 필요하다.

논쟁점

특정 모델(Claude)에 최적화된 프롬프트가 다른 모델에서도 동일한 성능을 낼 것인가에 대한 여부

실용적 조언

시스템 프롬프트 작성 시 '하지 마라'는 금지어 대신 모델이 취해야 할 인지적 상태를 구체적으로 묘사할 것
프롬프트가 너무 제약적일 경우를 대비해 '기록물 인용 허용'과 같은 예외 조항(Release Valve)을 추가할 것

섹션별 상세

금지 명령의 역효과에 대해 분석했다. '홍보 문구를 쓰지 마라'와 같은 부정적 명령은 모델 내부에서 해당 개념의 표현을 오히려 활성화하여 결과물을 악화시킨다. 이는 '분홍색 코끼리를 생각하지 마라'는 명령이 코끼리를 떠올리게 하는 것과 동일한 메커니즘으로 작동한다. 따라서 직접적인 금지 대신 다른 접근 방식이 필요함을 확인했다.

인지 상태 유도(Cognitive State Induction) 기법을 제안했다. 문장을 하중을 견뎌야 하는 목재처럼 다루는 '목수'나, 화려한 형용사가 없는 언어에서 온 '번역가' 등의 상태를 묘사하여 입력한다. 모델이 특정 인지적 제약 조건 하에서 사고하게 함으로써 자연스럽게 저품질 텍스트(slop)가 생성되지 않는 환경을 구축한다. 이 방식은 모델의 창의성을 억압하지 않으면서도 출력의 질을 조절하는 데 효과적이다.

슬롭의 '유압적(Hydraulic)' 성질을 발견했다. 특정 슬롭 채널인 어휘나 헤징(hedging) 표현을 억제하면, 대시(em dash) 사용 빈도가 급증하는 등 다른 채널로 압력이 전이되는 현상이 나타났다. 이는 모델이 가진 표현의 욕구가 다른 형태의 상투적 패턴으로 분출되는 것으로 해석된다. 따라서 전체적인 균형을 맞추는 종합적인 프롬프트 설계가 필수적이다.

실험 결과와 예외 상황에 대한 데이터를 공유했다. 9가지 지표로 구성된 루브릭 점수에서 기본 Claude는 27점 만점에 15점을 기록했으나, '목수' 프롬프트 적용 시 3점으로 품질이 대폭 향상됐다. 다만 '목격자' 프롬프트의 경우, 자신이 직접 보지 않은 정보는 작성할 수 없다고 판단하여 응답을 거부하는 과잉 충성 현상이 발생했다. 이를 해결하기 위해 출판된 기록물도 목격한 것으로 간주하라는 '릴리스 밸브(release valve)' 문구를 추가하여 문제를 해결했다.

실무 Takeaway

시스템 프롬프트에서 부정적 명령(Prohibition)은 오히려 해당 개념을 강화하므로 지양해야 한다.
특정 인지 상태를 묘사하는 페르소나 주입이 상투적 표현(slop) 제거에 더 효과적이다.
프롬프트가 너무 엄격하면 모델이 작업을 거부할 수 있으므로 예외 허용 조항(Release Valve)을 포함해야 한다.

언급된 도구

Claude추천

실험 대상 LLM 모델

언급된 리소스

문서Anti-slop Substack Writeup

GitHubFull Philtres Library GitHub