Claude Haiku를 이용한 브루트 포스 디버깅: 'Gods Perfect Idiot' 컨셉

실용적 조언

Haiku 모델을 사용할 때 '카오스 테이블'을 정의하여 모델이 수행할 비정상 행동의 범위를 지정하면 테스트 효율이 높아진다.
브라우저 사용 기능을 활성화한 상태에서 콘솔 로그와 API 응답을 함께 모니터링하도록 프롬프트를 구성해야 한다.

섹션별 상세

Claude Haiku를 활용한 자동화된 브루트 포스 디버깅 방법론이다. 가벼운 모델 인스턴스에 브라우저 사용 권한을 부여하고, 특정 시스템에서 반복적이고 반성적인 행동을 수행하도록 설계했다. 결과가 예상과 다를 경우 즉시 GitHub 이슈를 생성하고 종료하는 단순한 구조를 통해 효율성을 높였다.

'Gods Perfect Idiot'이라는 페르소나를 통해 예측 불가능한 사용자 행동을 시뮬레이션한다. 레이블을 읽지 않거나 페이지 로딩 전 클릭, 무작위 데이터 입력 등 실제 사용자가 저지를 수 있는 비논리적인 행동을 '카오스 테이블'에서 무작위로 선택해 실행한다. 이를 통해 개발자가 예상하지 못한 UI 결함이나 API 오류를 포착한다.

text

You are simulating the worst-case end user of at http://localhost:8080. This user is not malicious. They are enthusiastic, impatient, and completely unpredictable. They do not read labels. They do not follow flows in order. They click things before pages load, submit forms half-filled, paste garbage into every field, and genuinely cannot understand why anything would only accept certain input. Your job each cycle:
1. Roll a random chaos behavior from the list below
2. Execute it with full commitment — no half measures
3. Collect the wreckage: console errors, API failures, broken UI
4. File a GitHub issue for anything that broke
5. Stop. Do not diagnose or fix.

최악의 사용자 행동을 시뮬레이션하기 위한 'Gods Perfect Idiot' 시스템 프롬프트 예시

단일 목적의 짧은 루프를 반복 실행하여 컨텍스트 부패(Context Rot) 문제를 해결했다. 각 사이클마다 인스턴스를 새로 시작하거나 초기화함으로써 모델의 판단력을 최상으로 유지하고 토큰 소모를 조절한다. 생성된 이슈 리포트는 사람이 직접 검토하거나 다른 Claude 인스턴스를 통해 자동으로 수정하는 워크플로로 연결된다.

실제 테스트 결과 2시간 동안 5분 간격으로 루프를 돌려 15개의 유효한 버그 리포트를 수집하는 성과를 거뒀다. 토큰 비용은 관리 가능한 수준이지만, 브라우저 사용 기능의 제한으로 인해 현재는 유료 계정(Max accounts)에서 가장 실용적이다. 향후 효율성을 높이기 위한 최적화 방안이 논의의 핵심이다.

용어 해설

브루트 포스 디버깅(Brute Force Debugging): — 가능한 모든 입력값이나 경로를 무작위로 시도하여 소프트웨어의 결함을 찾아내는 방식이다. 이 글에서는 LLM 에이전트가 무작위적인 사용자 행동을 반복 수행하여 에지 케이스를 발견하는 데 활용된다.
컨텍스트 부패(Context Rot): — 대화나 작업이 길어질수록 모델이 이전 맥락을 잊거나 혼동하여 성능이 저하되는 현상이다. 단일 목적의 짧은 루프를 사용하여 이를 방지하고 추론의 정확도를 유지한다.
에지 케이스(Edge Case): — 일반적인 상황이 아닌 극단적이거나 예외적인 조건에서 발생하는 문제 상황이다. 예측하기 어려운 사용자 행동을 시뮬레이션함으로써 개발자가 놓치기 쉬운 시스템의 취약점을 드러낸다.

언급된 도구

Claude Haiku추천

경량화된 LLM 인스턴스로서 반복적인 테스트 루프 실행

GitHub추천

발견된 버그 리포트 및 이슈 트래킹