이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Substack과 AI 탐지 기업 Pangram의 제휴는 AI로 작성된 글을 자동 처벌하기보다 독자에게 AI 사용 여부를 알리고 작성자에게 자제 신호를 보내는 장치로 제시됩니다. Pangram 4.0은 사람이 쓴 글을 AI로 오인하는 False Positive를 0.0041%까지 낮췄다고 추정하며, humanizer 출력과 human-AI 혼합 글도 한 번에 판별하는 기능을 내세웁니다. 다만 짧은 텍스트와 청크 처리에서는 결과가 불안정하고, AI 사용량이나 인간적 노력의 정도까지 판별하지 못하므로 단일 점수를 도덕적 유죄 판정처럼 사용해서는 안 됩니다. 글쓴이는 인터넷의 신뢰를 지키기 위해 일부 오판을 감수할 수 있다고 보면서도, 도구의 한계를 모르는 군중 심리가 새로운 피해를 만들 수 있다고 경고합니다.
섹션별 상세
Substack과 Pangram의 제휴는 AI 작성물을 일괄적으로 삭제하거나 작성자를 영구 차단하는 조치가 아니라, 플랫폼에서 AI 사용 여부를 확인할 수 있게 하는 장치로 자리 잡습니다. Pangram이 글을 판정하면 독자는 해당 정보를 바탕으로 읽거나 구독을 중단할지 스스로 결정할 수 있습니다. 글쓴이는 이 공개 구조가 Substack을 넘어 소셜미디어, 잡지, 신문, 대학으로 확산될 경우 AI로 대량 생산된 저품질 콘텐츠를 억제하는 사회적 신호가 될 수 있다고 봅니다.
근거
- Substack은 Pangram을 사용해 AI 작성 여부를 확인할 수 있게 하지만, 탐지 결과가 자동 영구 차단으로 이어지지는 않는다. — 본문 III절에서 Pangram 판정이 구속력을 갖지 않으며, 사용자가 Pangram을 완전히 끌 수도 있다고 설명한 대목
Pangram의 핵심 접근은 사람이 쓴 글을 AI 글로 잘못 판정하는 False Positive를 극도로 낮추는 데 있습니다. Pangram 4.0의 자체 추정 오탐률은 0.0041%로, 24,000건당 1건 수준이며, 반대로 AI 글을 사람 글로 놓치는 False Negative는 0.34%로 300건당 1건 수준이라고 제시됩니다. 따라서 탐지 결과가 AI로 나온 경우에는 대체로 AI 개입이 있을 가능성이 높지만, 사람으로 판정된 모든 글이 순수한 인간 작성물이라고 단정할 수는 없습니다.
근거
- Pangram 4.0의 자체 추정 False Positive 비율은 0.0041%로 24,000건당 1건이다. — 본문 II절의 Pangram 4.0 오탐률 수치 제시 부분
- Pangram의 탐지 결과에서 AI 판정은 대부분 AI 글일 가능성이 높지만, 인간 판정은 AI 글을 모두 배제하지 못한다. — 본문 II절에서 False Positive 0.0041%와 False Negative 0.34%를 비교한 문단
Pangram은 글의 학습 데이터 포함 여부를 단순히 대조하지 않고, 언어 모델이 학습과 post-training을 거치며 형성한 문체적 흔적을 포착하는 방식으로 작동합니다. Pangram 4.0은 AI-edited writing과 한 글 안에 섞인 human-AI content를 한 번에 구별하고, 13개 상용 humanizer 도구가 만든 출력에서도 98.83%의 AI 개입 판별률을 기록했다고 소개됩니다. 또한 여러 frontier model 계열에서 FNR이 0.7% 미만이라고 제시되지만, 글쓴이는 이런 수치가 아직 독립적인 검증을 더 필요로 한다고 봅니다.
근거
- Pangram 4.0은 humanizer 도구가 만든 출력에서 98.83%의 AI 개입 판별률을 기록했다고 평가된다. — 본문 각주 2에서 13개 상용 humanizer 도구를 대상으로 한 수치를 제시한 부분
글쓴이가 가장 경계하는 위험은 탐지 도구 자체보다 결과를 근거로 작동하는 군중 심리입니다. Pangram은 AI 사용 여부를 판별할 뿐, 작성자가 얼마나 많은 인간적 노력과 의도를 투입했는지 또는 AI를 자료원으로만 활용했는지는 판별하지 못하며, 짧은 글이나 텍스트 일부를 청크로 처리할 때 결과가 불안정할 수 있습니다. 그러므로 독자는 74% AI 같은 단일 점수를 글 전체의 가치나 작성자의 도덕성에 대한 절대 판정으로 사용하지 말아야 하며, 글쓴이 역시 실제로 직접 쓴 글이라면 탐지 점수에 맞춰 문체를 바꿀 필요가 없다는 결론에 이릅니다.
근거
- Pangram은 AI 사용 여부를 판별할 수 있지만 글을 만드는 과정에서 투입된 인간적 노력의 정도까지 판별하지는 못한다. — 본문 IV절에서 Substack의 주의 문구와 다단계 글쓰기 과정의 한계를 인용한 부분
용어 해설
- 오탐(False Positive)
- — 실제로는 사람이 작성한 글을 AI가 생성한 글로 잘못 판정하는 경우입니다. AI 탐지 도구의 신뢰도를 좌우하는 핵심 오류 유형이며, 오탐률이 낮을수록 무고한 작성자가 불이익을 받을 가능성이 줄어듭니다.
- 미탐(False Negative)
- — AI가 작성한 글을 사람이 쓴 글로 잘못 판정하는 경우입니다. Pangram의 접근에서는 오탐을 최소화하는 대신 미탐이 일부 늘어날 수 있으며, 실제 AI 글을 놓치는 비율을 평가하는 지표로 활용됩니다.
- 문체 분석(Stylometry)
- — 문장의 어휘, 리듬, 구조 같은 문체적 특징을 통계적으로 비교해 글의 저자나 생성 방식을 추정하는 방법입니다. Pangram은 학습 데이터의 단순 중복이 아니라 AI 모델 특유의 문체적 흔적을 포착하는 데 이 원리를 활용합니다.
- AI 문체 변환 도구(Humanizer)
- — AI가 작성한 문장을 사람이 쓴 것처럼 바꾸는 도구입니다. 글의 표현과 문장 구조를 변형해 탐지기를 피하려는 용도로 쓰이며, Pangram 4.0은 13개 상용 도구를 대상으로 변환된 출력에서도 AI 개입을 판별한다고 평가됩니다.
- 공유지의 비극(Tragedy of the Commons)
- — 개별 행위자가 자신의 이익을 위해 공동 자원을 과도하게 사용하면서 모두가 의존하는 자원이 훼손되는 현상입니다. 글에서는 소수의 AI 글 대량 생산자가 인터넷의 신뢰와 읽을거리를 오염시키는 상황을 이 개념에 빗댑니다.
기술
- Pangram
- Pangram 4.0
- ChatGPT
- Stylometry
- AI detection
활용 사례
- Substack 글의 AI 사용 여부 공개
- AI 작성물에 대한 독자의 구독 판단
- 소셜미디어와 언론 플랫폼의 AI 콘텐츠 관리
- 대학 과제와 시험에서의 AI 사용 판별
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 12.수집 2026. 08. 12.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
