Claude Code를 활용한 개인 문체 추출 및 AI 탐지 회피 실험기

실용적 조언

문체 추출을 위해 샘플을 제공할 때 반드시 'Sample 1', 'Sample 2' 식으로 익명화하여 모델이 내용에 편향되지 않게 하라.
프롬프트에서 참고 자료를 'raw notes I'm still thinking through'라고 정의하면 더 자연스러운 문체가 나온다.
AI 탐지기 점수에 집착하기보다 독자가 읽기에 좋은 리듬과 구조를 만드는 데 집중하라.

섹션별 상세

단순히 특정 단어를 금지하는 방식의 한계를 지적했다. 'delve'나 'important to note' 같은 단어를 금지하는 규칙을 적용하면 Claude는 연결성이 부족하고 딱딱한 문장을 출력하는 '감산의 함정(Subtraction Trap)'에 빠지게 된다. 이는 AI임을 숨기려 노력하는 또 다른 형태의 시그니처가 되어 오히려 탐지기에 더 잘 걸리는 결과를 초래했다.

인간다운 글쓰기의 핵심이 '구조적 예측 불가능성'에 있음을 발견했다. 문장 길이, 문단 모양, 내부 아키텍처가 압축 알고리즘이 예측할 수 없는 리듬을 가져야 인간의 글처럼 느껴진다. 실험 결과 구체적인 사례 우선 제시(Concrete-first)나 독특한 도입부 설정 같은 기술은 글의 품질은 높이면서도 AI 탐지 점수에는 영향을 주지 않는 중립적인 요소임이 확인됐다.

AI 탐지기(GPTZero 등)와 글쓰기 품질 사이의 상관관계를 분석했다. 6가지의 인간화 도구(Humanizer)를 테스트한 결과, 탐지 점수를 낮추는 데 성공한 도구들은 예외 없이 글의 고유한 목소리와 품질을 심각하게 훼손했다. 이는 LLM이 토큰을 선택하는 통계적 확률 분포(Probability Surface) 자체가 인간과 근본적으로 다르기 때문에 발생하는 문제로 정의됐다.

SICO(Substitution-based In-Context Optimization) 기법을 통한 문체 추출 프로세스를 정립했다. 사용자의 실제 글 샘플과 모델의 기본 출력을 비교하여 '추상적인 개념을 물리적인 언어로 표현하는 방식'이나 '괄호를 활용한 독자와의 상호작용' 같은 미세한 특징을 추출했다. 샘플을 익명화하여 입력했을 때 모델이 내용이 아닌 구조적 패턴에 더 집중하여 정확한 특징을 잡아냈다.

Claude Code 플러그인인 Prose-Craft의 작동 아키텍처를 공개했다. 텍스트 생성 후 Prose Review와 Craft Review라는 두 개의 에이전트가 병렬로 작동하여 AI 패턴, 금지어, 문체 이탈 등을 검사하고 수정 권고 테이블을 생성한다. 또한 사용자의 최종 수정본을 학습 에이전트가 분석하여 문체 프로필을 지속적으로 업데이트하는 피드백 루프를 구현했다.

markdown

# Line Pattern Current Proposed fix
1 "Furthermore, the committee decided..." Mid-tier AI vocabulary "Furthermore" is a dead AI transition Cut it. Start the sentence at "The committee decided..."
2 "This is important because..." Frictionless transition 4 transitions in a row and none of them feel abrupt Drop the transition. Start the next paragraph mid-thought and let the reader fill the gap.

Prose Review 에이전트가 생성한 AI 문체 수정 권고 테이블 예시

용어 해설

치환 기반 인컨텍스트 최적화(SICO): — Substitution-based In-Context Optimization의 약자로, 모델의 기본 출력과 사용자의 실제 작성 샘플을 비교하여 스타일 차이를 추출하고 이를 프롬프트에 반영하여 개인화된 문체를 구현하는 기법이다.
AI 탐지기(AI Detector): — 텍스트의 통계적 특성(확률 분포의 평탄도 등)을 분석하여 해당 문장이 인간이 쓴 것인지 LLM이 생성한 것인지 판별하는 도구로, GPTZero 등이 대표적이다.
토큰 확률 표면(Token Probability Surface): — LLM이 다음 토큰을 선택할 때 가지는 통계적 확률 분포의 형상을 의미하며, 인간의 글은 불규칙하고 변칙적인 반면 AI의 글은 통계적으로 평탄한 특성을 보인다.
어블레이션 테스트(Ablation Testing): — 시스템의 특정 구성 요소나 규칙을 하나씩 제거하며 전체 성능에 미치는 영향을 측정하는 실험 기법으로, 여기서는 어떤 규칙이 AI 탐지율에 기여하는지 확인하는 데 사용됐다.

언급된 도구

Prose-Craft추천링크

Claude Code용 개인 문체 추출 및 글쓰기 보조 플러그인

GPTZero중립

AI 텍스트 탐지 및 판별

DIPPER비추천

텍스트 재구성 및 인간화 도구

언급된 리소스

GitHubProse-Craft GitHub Repository