PlayCoder: LLM이 생성한 GUI 코드를 실제로 실행 가능하게 만들기

기존의 AI 코드 생성 모델들은 텍스트 기반의 정답 확인에는 능숙하지만, 게임이나 앱처럼 사용자와 상호작용하는 화면(GUI)을 만드는 데는 큰 한계를 보였다. 이 논문은 AI가 직접 화면을 조작하고 시각적 피드백을 받아 코드를 스스로 고치는 기술을 통해, 실제로 '플레이 가능한' 수준의 복잡한 소프트웨어를 만들 수 있는 길을 열었다.

기존의 코드 생성 모델은 주로 '입력값에 따른 출력값'이 일치하는지를 확인하는 Unit Test 방식에 의존한다. 하지만 GUI 애플리케이션은 이벤트 기반(Event-driven)으로 동작하며 사용자의 연속적인 행동에 따라 상태(State)가 계속 변하기 때문에, 정적인 텍스트 비교만으로는 코드가 실제로 올바르게 작동하는지 알 수 없다. 예를 들어, 캐릭터가 벽을 통과하는 버그는 코드가 문법적으로 완벽하고 실행이 되더라도 게임 로직상으로는 실패한 것이다.

PlayCoder는 이 문제를 해결하기 위해 딥러닝의 시각적 이해 능력을 테스팅 루프에 도입한다. 모델이 생성한 코드를 실제 샌드박스 환경에서 실행하고, 그 화면을 스크린샷으로 찍어 다시 모델에게 보여주는 방식이다. 이는 마치 개발자가 코드를 짜고 직접 프로그램을 실행해 보며 '버튼이 안 눌리네?' 혹은 '이미지가 이상하네?'라고 느끼며 수정하는 과정을 자동화한 것이다.

결과적으로 PlayCoder는 텍스트 신호(Error Message)뿐만 아니라 시각적 신호(Visual Feedback)를 동시에 활용하여 코드를 수정한다. 이를 통해 모델이 API 사용법은 알지만 실제 동작 원리를 이해하지 못해 발생하는 '저장소 환각(Repository Hallucination)' 현상을 획기적으로 줄이고, 복잡한 상호작용이 포함된 소프트웨어의 완성도를 높인다.

PlayCoder는 PlayDeveloper, PlayTester, PlayRefiner라는 세 가지 핵심 에이전트가 협력하는 폐쇄 루프(Closed-loop) 시스템이다. PlayDeveloper는 저장소 맥락(Repository Context)을 이해하여 초기 코드를 생성하며, 이때 ContextSearchTool을 사용하여 관련 코드 예제와 임포트 패턴을 검색한다.

PlayTester는 생성된 GUI를 실제로 구동하여 시각적 검증을 수행한다. VisualObserver가 pyautogui를 통해 스크린샷을 캡처하고 [이미지 픽셀 데이터 → 비전 모델 분석 → 구조화된 UI 상태 값] 순으로 변환하여 현재 화면의 논리적 상태를 파악한다. Test Manager는 이 상태 값을 바탕으로 다음 테스트 동작을 계획하고 ActionExecutor가 클릭이나 키보드 입력을 실행하여 애플리케이션의 반응을 수집한다.

PlayRefiner는 PlayTester가 발견한 논리 오류나 실행 로그를 분석하여 패치(Patch)를 생성한다. [오류 리포트 + 현재 코드 → 차이점 분석 → 수정 코드 생성] 과정을 거치며, 최대 6회의 반복적인 테스트-수정 사이클을 수행하여 최종적으로 플레이 가능한 코드를 완성한다.

실험 결과, Claude-3.5-Sonnet 모델을 기반으로 했을 때 PlayCoder는 기존 방식 대비 실행 성공률(Exec@3)에서 30.9%를 기록하며 대조군인 DeepCode(26.8%)를 앞섰다. 특히 실제 작동 여부를 따지는 Play@3 지표에서는 20.3%를 달성하여, 거의 0%에 수렴했던 기존 모델들의 한계를 극복했다.

효율성 측면에서도 PlayCoder는 우수한 성능을 보였다. GPT-5-mini를 백본으로 사용했을 때, 다른 에이전트 프레임워크인 HCPCoder보다 토큰 소모량은 적으면서도 실제 플레이 가능 점수(Play@1)는 약 27배 이상 높게 나타났다. 이는 시각적 피드백을 통한 정밀한 수정이 무분별한 코드 생성보다 훨씬 효과적임을 입증한다.

PlayCoder의 핵심 차별점은 '시각적 피드백'과 '능동적 탐색'의 결합이다. 기존의 SWE-bench 기반 모델들이 정적 분석과 유닛 테스트에 매몰된 것과 달리, PlayCoder는 실제 런타임의 UI 상태 전이(State Transition)를 추적한다. 이를 위해 VLM(Vision-Language Model)을 테스트 전략 수립에 활용하여, 게임의 승리 조건이나 UI의 반응성을 동적으로 평가한다.

구현 측면에서는 다국어 지원을 위해 Python, TypeScript, JavaScript 환경을 모두 수용하는 샌드박스를 구축했다. 특히 저장소 수준의 코드 생성을 위해 파일 구조와 의존성을 분석하는 도구들을 에이전트에게 부여하여, 단순 함수 생성이 아닌 프로젝트 전체의 맥락을 유지하며 코드를 수정할 수 있도록 설계되었다.

60 FPS 이상의 고주파수 피드백이 필요한 실시간 액션 게임(예: Flappy Bird의 정밀한 충돌 판정)에서는 이산적인 화면 캡처 방식의 한계로 인해 오류 탐지율이 떨어진다. 또한 GPU 연산 병목으로 인한 추론 지연 시간이 실시간 물리 시뮬레이션의 타이밍을 맞추지 못하는 경우가 발생한다.