Faultstack 프로젝트를 통한 다양한 LLM의 코드 감사 성능 비교 실험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Rust 기반 게임 프로젝트 Faultstack의 아키텍처 가이드라인 준수 여부를 9종의 LLM으로 감사하여 모델별 강점과 실패 유형을 분석했다.

배경

작성자가 개발 중인 Rust/Bevy 기반 게임 Faultstack의 코드베이스와 AGENTS.md 가이드라인을 바탕으로 여러 최신 LLM들의 코드 분석 및 아키텍처 감사 능력을 테스트했다.

의미 / 영향

이 토론을 통해 복잡한 소프트웨어 아키텍처 감사에서 LLM을 단일 도구가 아닌 '역할별 팀'으로 구성해야 함이 확인됐다. 특히 Rust와 같은 엄격한 언어에서도 LLM은 의미론적 경계 위반을 완벽히 잡아내지 못하므로, AGENTS.md와 같은 명시적 가이드라인을 통한 지속적인 캘리브레이션이 필수적이다.

커뮤니티 반응

작성자가 직접 수행한 실험 결과에 대해 모델별 역할 분담(Scout vs Judge) 전략이 유용하다는 점에 공감하는 분위기이다.

주요 논점

01찬성다수

단일 모델에 의존하기보다 강점에 따라 여러 LLM을 조합하여 사용하는 것이 코드 감사 품질을 높인다.

02중립소수

LLM이 코드의 구조적 문제는 잘 찾지만 도메인 특화된 논리적 경계(숨겨진 상태 유출 등)는 여전히 오판할 가능성이 높다.

합의점 vs 논쟁점

합의점

Claude Sonnet 4.6은 일상적인 엔지니어링 작업과 소스 근거 기반 감사에 매우 균형 잡힌 성능을 제공한다.
DeepSeek은 비용 대비 가치가 높아 대량의 파일을 훑어보는 초기 스캔 용도로 훌륭하다.

논쟁점

LLM이 스스로의 추론 스타일을 과대평가하는 자기 편향(Self-favoring risk) 문제.
허용된 진단 경로와 금지된 데이터 유출 사이의 엄격한 구분 능력 부족.

실용적 조언

빠른 코드 스캔이 필요할 때는 Grok Code Fast를 사용하여 거대한 시스템이나 리소스 낭비 지점을 먼저 파악하라.
아키텍처의 설계 의도 준수 여부를 확인할 때는 Claude Opus를 판정관으로 활용하되, 동일 모델이 쓴 코드를 직접 검토하게 하지 마라.
DeepSeek V4 Flash는 비용이 저렴하므로 미션 ID 결합이나 필드 확산 같은 단순 스카우트 작업에 적극 활용하라.

섹션별 상세

모델마다 아키텍처 위반을 판단하는 기준과 실패 모드가 극명하게 갈리는 현상이 관찰됐다. Claude Opus 4.7은 추론과 숨겨진 진실의 차이를 가장 잘 구분하며 아키텍처 판독관으로서 우수한 성능을 보였으나, 자기 자신의 출력을 평가할 때 편향성을 보일 위험이 확인됐다. 반면 DeepSeek V4 Flash는 비용 효율적인 스카우트 역할에는 적합했으나 공개된 내부 필드를 놓치는 등 심각한 의미론적 경계 판단 오류를 범했다.

게임의 핵심 규칙인 '추론된 정보'와 '유출된 진실' 사이의 보정 문제가 주요 변별력으로 작용했다. Faultstack 시뮬레이션에서 플레이어 컴포넌트가 증거를 통해 상태를 추측하는 것은 허용되지만, QPU의 실제 활성 결함 부위가 노출되는 것은 금지된다. Grok이나 GPT-5.5 등 일부 모델은 플레이어의 정당한 추론 과정조차 데이터 유출로 오판하는 '거짓 양성(False Positive)' 반응을 보였다.

Rust 언어 특유의 소유권 우회 방식이나 Bevy 엔진의 시스템 구조에 대한 이해도 차이가 드러났다. Claude Sonnet 4.6은 구체적인 파일과 심볼 근거를 제시하며 구현 계획 수립에 강점을 보였으나, 사후 보고서(Debrief) 경로를 실시간 게임플레이 유출로 과잉 판단하는 경향이 있었다. Ling-2.6-1T와 같은 모델은 매치 트리 확산은 잘 잡아냈으나 실제 공개된 위험 필드를 간과하는 '거짓 음성(False Negative)' 문제를 보였다.

단일 모델 사용보다 역할에 따른 모델 조합(LLM Ensemble)이 더 효과적이라는 결론에 도달했다. 기계적인 코드 스캔은 Grok Code Fast가 빠르고 효율적이며, 아키텍처 위협 모델링은 GPT-5.5나 Sonnet이 적합하고, 최종 판정은 Opus가 수행하는 방식이 권장된다. 작성자는 구독형 모델과 무료/저가형 모델(Grok, DeepSeek)을 적절히 섞어 쓰는 것이 비용 대비 효율이 높다고 평가했다.

용어 해설

QPU: — Quantum Processing Unit의 약자로, 이 프로젝트(Faultstack)에서는 플레이어가 직접 볼 수 없는 숨겨진 상태를 가진 핵심 시뮬레이션 대상을 의미한다.
QEC: — Quantum Error Correction의 약자로, 시뮬레이션 내에서 발생한 오류를 추론하고 수정하는 메커니즘이며 게임의 핵심 추론 요소이다.
Bevy: — Rust 언어로 작성된 데이터 중심 게임 엔진으로, 엔티티 컴포넌트 시스템(ECS) 구조를 사용하여 시뮬레이션과 UI를 관리한다.
Code Audit: — 소스 코드를 분석하여 보안 취약점, 아키텍처 위반, 버그 가능성을 찾아내는 과정으로 본문에서는 LLM의 성능 측정 도구로 활용됐다.

언급된 도구

Bevy중립

Rust 기반 데이터 중심 게임 엔진

Kilo Code추천

GPT-5.5 및 DeepSeek V4 접근을 위한 인터페이스