Faultstack 프로젝트를 통한 다양한 LLM의 코드 감사 성능 비교 실험

실용적 조언

빠른 코드 스캔이 필요할 때는 Grok Code Fast를 사용하여 거대한 시스템이나 리소스 낭비 지점을 먼저 파악하라.
아키텍처의 설계 의도 준수 여부를 확인할 때는 Claude Opus를 판정관으로 활용하되, 동일 모델이 쓴 코드를 직접 검토하게 하지 마라.
DeepSeek V4 Flash는 비용이 저렴하므로 미션 ID 결합이나 필드 확산 같은 단순 스카우트 작업에 적극 활용하라.

섹션별 상세

모델마다 아키텍처 위반을 판단하는 기준과 실패 모드가 극명하게 갈리는 현상이 관찰됐다. Claude Opus 4.7은 추론과 숨겨진 진실의 차이를 가장 잘 구분하며 아키텍처 판독관으로서 우수한 성능을 보였으나, 자기 자신의 출력을 평가할 때 편향성을 보일 위험이 확인됐다. 반면 DeepSeek V4 Flash는 비용 효율적인 스카우트 역할에는 적합했으나 공개된 내부 필드를 놓치는 등 심각한 의미론적 경계 판단 오류를 범했다.

게임의 핵심 규칙인 '추론된 정보'와 '유출된 진실' 사이의 보정 문제가 주요 변별력으로 작용했다. Faultstack 시뮬레이션에서 플레이어 컴포넌트가 증거를 통해 상태를 추측하는 것은 허용되지만, QPU의 실제 활성 결함 부위가 노출되는 것은 금지된다. Grok이나 GPT-5.5 등 일부 모델은 플레이어의 정당한 추론 과정조차 데이터 유출로 오판하는 '거짓 양성(False Positive)' 반응을 보였다.

Rust 언어 특유의 소유권 우회 방식이나 Bevy 엔진의 시스템 구조에 대한 이해도 차이가 드러났다. Claude Sonnet 4.6은 구체적인 파일과 심볼 근거를 제시하며 구현 계획 수립에 강점을 보였으나, 사후 보고서(Debrief) 경로를 실시간 게임플레이 유출로 과잉 판단하는 경향이 있었다. Ling-2.6-1T와 같은 모델은 매치 트리 확산은 잘 잡아냈으나 실제 공개된 위험 필드를 간과하는 '거짓 음성(False Negative)' 문제를 보였다.

단일 모델 사용보다 역할에 따른 모델 조합(LLM Ensemble)이 더 효과적이라는 결론에 도달했다. 기계적인 코드 스캔은 Grok Code Fast가 빠르고 효율적이며, 아키텍처 위협 모델링은 GPT-5.5나 Sonnet이 적합하고, 최종 판정은 Opus가 수행하는 방식이 권장된다. 작성자는 구독형 모델과 무료/저가형 모델(Grok, DeepSeek)을 적절히 섞어 쓰는 것이 비용 대비 효율이 높다고 평가했다.

용어 해설

양자 처리 장치(QPU): — Quantum Processing Unit의 약자로, 이 프로젝트(Faultstack)에서는 플레이어가 직접 볼 수 없는 숨겨진 상태를 가진 핵심 시뮬레이션 대상을 의미한다.
양자 오류 정정(QEC): — Quantum Error Correction의 약자로, 시뮬레이션 내에서 발생한 오류를 추론하고 수정하는 메커니즘이며 게임의 핵심 추론 요소이다.
베비(Bevy): — Rust 언어로 작성된 데이터 중심 게임 엔진으로, 엔티티 컴포넌트 시스템(ECS) 구조를 사용하여 시뮬레이션과 UI를 관리한다.
코드 감사(Code Audit): — 소스 코드를 분석하여 보안 취약점, 아키텍처 위반, 버그 가능성을 찾아내는 과정으로 본문에서는 LLM의 성능 측정 도구로 활용됐다.

언급된 도구

Bevy중립

Rust 기반 데이터 중심 게임 엔진

Kilo Code추천

GPT-5.5 및 DeepSeek V4 접근을 위한 인터페이스