Generative Compilation: 생성 과정에서 컴파일러 피드백을 얻는 방법

생성형 LLM이 엄격한 정적 타입 언어인 Rust 코드를 생성할 때 언어의 엄격한 의미론 때문에 생성 결과가 쉽게 컴파일 실패로 귀결되는 문제가 존재한다. 전통적으로는 컴파일러 진단이 생성 이후의 후처리 단계에서만 활용되어 오류 원인이 뒤섞이고 수정이 어렵다는 한계가 있었다. Generative compilation은 생성 중에 컴파일러 진단을 얻음으로써 오류 발생 지점을 생성 단계에서 조기에 차단하고 이후의 오류 전파를 줄이며 디버깅 단서를 개선했다.

출발점은 엄격한 정적 의미를 가진 언어에서 생성형 모델이 생성하는 부분 코드가 전체 프로그램 문맥 없이 쉽게 무효화된다는 관찰이다. 기존의 후처리 컴파일러 피드백은 생성이 끝난 뒤에야 오류를 보고하므로 오류 원인을 생성 시점에서 바로 고치기 어렵고 여러 연쇄적 오류를 유발하는 문제가 반복되었다. 이 문제는 특히 Rust처럼 의미론적 제약이 강한 언어에서 두드러지며, 생성 중간 단계에서 더 풍부한 진단이 필요하다는 점이 핵심이다. 핵심 해결 원리는 부분 프로그램을 '진단 가능한' 완전 프로그램으로 변환해 표준 컴파일러가 즉시 진단을 내리도록 만드는 것이다. Sealor는 문법 중심 변환을 통해 부분 프로그램의 중요한 문맥을 보존하면서도 컴파일러가 처리할 수 있는 형태로 마무리하여, 가능한 완성 경로를 부당하게 차단하지 않도록 설계되었다. 이 방식은 생성기의 표준 샘플링 루프를 크게 변경하지 않으면서도 생성 중에 의미론적 오류를 포착할 수 있게 한다. 달라지는 점은 오류 검출의 시점과 정확성이다. 생성 후에 컴파일러가 문제를 지적하는 대신, sealor+컴파일러 루프는 생성 중에 구체적이고 근원에 가까운 오류 신호를 제공해 잘못된 생성 패스를 일찍 차단한다. 이로 인해 오류가 이후 토큰들로 전파되어 복잡한 디버깅 상황을 만드는 대신 조기에 교정 가능성이 커지고 결과적으로 컴파일 실패율과 기능 오류가 줄어드는 변화가 발생한다.

전체 접근 방식은 생성기 샘플링 루프에 sealor 기반의 부분-완성 변환과 표준 컴파일러 진단 단계를 삽입하는 것이다. 생성기가 부분 토큰 시퀀스를 출력하면 sealor는 그 부분을 문법적·구조적 문맥을 보존한 상태로 완전한 프로그램 형태로 확장하고, 그 결과를 표준 컴파일러에 제출하여 컴파일러의 오류 메시지와 진단을 확보한다. 확보된 진단은 생성기의 이후 토큰 선택에 영향을 주어 불가능하거나 비생산적인 생성 경로를 피하도록 만든다. sealor의 핵심 메커니즘은 문법 주도 변환 규칙과 보존성 보장에 있다. 변환은 부분 프로그램이 '가능한 완성'을 유지하도록 설계되어 어떤 부분이 실제로 완성 가능하면 변환 결과가 컴파일러에 의해 거부되지 않게 한다. 동시에 변환은 최소한의 추가 문맥을 삽입해 명백한 의미적 충돌이나 타입 오류 같은 '진짜 막다른 길'을 컴파일러가 포착할 수 있게 한다. 형식적 기반은 core Rust-like 계산 체계에서의 성질 정의와 증명으로 구성된다. 논문은 sealor가 완성 가능한 부분 프로그램을 거부하지 않는다는 성질과, 삽입된 문맥이 충분히 오류를 드러내는 성질을 수학적으로 명세하고 Lean으로 기계화해 검증했다. 이러한 형식적 보장은 실제 Rust 확장에서도 동일한 전략을 적용할 때 기대되는 안전성의 근거가 된다. 구현 측면에서는 core 계산체계의 설계에서 실제 Rust 문법과 의미에 맞춘 엔지니어링 확장으로 옮겨가 부분 프로그램 검사기를 구축했다. 이 구현은 리포지토리 수준의 현실적 코딩 과제에서 컴파일러와 상호작용하도록 최적화되었고, 다양한 모델 인터페이스(black-box, open-weight)에 연결해 평가가 가능하도록 설계되었다.

주요 실험은 리포지토리 수준의 어려운 Rust 코딩 과제들을 대상으로 수행되었으며, 평가 대상에는 black-box 계열 모델과 오픈 웨이트 모델이 포함되었다. 비교 대상은 표준적인 '생성 후 컴파일러 진단' 워크플로였고, generative compilation은 이 기준선에 비해 비컴파일 출력(non-compiling outputs)을 감소시키고 기능적 정합성(functional correctness)을 향상시켰다. 실험 결과는 생성 중 조기 진단이 오류 연쇄를 줄이는 메커니즘으로 작동함을 보여주었다. 추가 분석에서는 sealor 기반 진단이 다양한 오류 유형을 생성 근원에 가깝게 포착하는 경향을 보였다는 점이 보고되었다. 이로 인해 이후 토큰에서 발생하는 파생 오류들이 줄어들며, 디버깅에 필요한 진단 정보의 질이 개선되었다. 논문은 이러한 정성적·정량적 개선이 실제 리포지토리 코드를 대상으로 한 경우에도 관찰되었다고 보고했다. 평가는 모델 종류와 상관없이 발생 경향이 일관되었다는 점을 강조했다. 즉 frontier black-box 모델과 오픈 웨이트 모델 모두에서 generative compilation은 표준 후처리 방식에 비해 이점을 보였으며, 이는 기법이 특정 모델 접근 방식에만 의존하지 않는다는 증거로 해석되었다.

전체 아키텍처는 생성기 샘플링 루프, sealor 변환기, 표준 컴파일러 진단기 사이의 반복적 상호작용으로 구성된다. 생성기는 부분 토큰 시퀀스를 출력하고 sealor는 이를 최소한의 문맥을 더해 컴파일러가 처리할 수 있는 완전한 프로그램으로 변환하며, 컴파일러가 반환한 진단은 다시 생성기의 다음 토큰 확률 분포에 영향을 준다. 이 루프는 생성 과정에서 의미적 제약을 유지하도록 설계되어 오류 경로를 초기에 차단한다. sealor의 수학적 기반은 core Rust-like 계산 체계에서 정의된 가능-완성성(possible-to-complete) 성질과 진단 보존성이다. 논문은 변환이 가능-완성 부분 프로그램을 거부하지 않음을 정식화하고, 이 성질이 보장될 때 유효한 생성 경로는 보존된다고 증명했다. 이러한 증명은 Lean으로 기계화되어 설계의 엄밀성을 확보했다. 실제 Rust 확장에서는 Rust의 문법적 특성과 타입 시스템을 반영한 엔지니어링 단계가 필요했다. 논문은 core 계산체계에서의 이론적 설계 요소를 실제 Rust AST와 타입 검사 흐름에 맞게 적응시켜 부분 프로그램 검사기를 구현했으며, 이 구현은 리포지토리 규모의 복잡한 코드에서 동작하도록 최적화되었다. 구현 세부사항에는 변환 규칙의 우선순위, 삽입되는 문맥의 최소화 전략, 그리고 컴파일러 진단을 생성기 신호로 역공학하는 절차가 포함된다. 평가 설계는 표준 후처리 워크플로와의 비교, 다양한 모델 접근(black-box 및 open-weight)에서의 동작 확인, 그리고 리포지토리 수준의 과제 적용으로 구성되었다. 측정 목표는 비컴파일 출력 감소와 기능적 정합성 개선이며, 진단의 시점과 유형에 따른 오류 전파 감소 효과도 분석되었다.