Claude Code에서 AI 환각을 방지하는 '/probe' 기술: 구현 전 검증 방법

AI의 환각 문제를 실무적인 워크플로우로 해결한 방식에 대해 매우 긍정적인 반응이며, 구체적인 스킬 파일 공유 요청이 이어졌다.

• Claude Code를 사용한다면 작성자가 공유한 gist의 probe-skill.md 프로토콜을 스킬로 등록하여 사용하라.
• 데이터 분석 코드를 짜기 전 반드시 `jq 'keys'` 또는 `sort -u` 명령어로 실제 데이터의 분포를 먼저 확인하게 하라.

환각 현상(Hallucination)

— AI 모델이 사실이 아니거나 존재하지 않는 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상이다. 모델의 학습 데이터 부족이나 확률적 생성 방식의 한계로 발생하며, 코드 작성 시 잘못된 라이브러리나 스키마를 참조하게 만들어 버그를 유발한다.

JSON 라인(JSONL)

— 여러 개의 JSON 객체를 각각 한 줄씩 기록하는 파일 형식이다. 대용량 로그 데이터나 스트리밍 데이터를 처리할 때 유리하며, 각 줄이 독립적인 JSON 객체이므로 전체 파일을 메모리에 로드하지 않고도 순차적 처리가 가능하다.

테스트 주도 개발(TDD)

— 실제 코드를 작성하기 전에 테스트 케이스를 먼저 작성하고, 이를 통과시키기 위한 최소한의 코드를 구현하는 개발 방법론이다. 이 글에서는 AI가 추측한 결과가 아닌 실제 시스템의 응답을 기반으로 테스트를 작성하는 '프로브 주도 TDD' 개념으로 확장되었다.

다형성(Polymorphism)

— 하나의 인터페이스나 데이터 필드가 여러 가지 형태를 가질 수 있는 성질이다. 본문에서는 사용자 콘텐츠가 단순 문자열(string)일 수도 있고 배열(array)일 수도 있는 구조를 의미하며, 이를 고려하지 않고 코드를 짜면 런타임 에러가 발생한다.