Generative Compilation: 생성 과정에서 컴파일러 피드백을 얻는 방법

왜 중요한가

생성형 LLM이 엄격한 정적 타입 언어인 Rust 코드를 생성할 때 언어의 엄격한 의미론 때문에 생성 결과가 쉽게 컴파일 실패로 귀결되는 문제가 존재한다. 전통적으로는 컴파일러 진단이 생성 이후의 후처리 단계에서만 활용되어 오류 원인이 뒤섞이고 수정이 어렵다는 한계가 있었다. Generative compilation은 생성 중에 컴파일러 진단을 얻음으로써 오류 발생 지점을 생성 단계에서 조기에 차단하고 이후의 오류 전파를 줄이며 디버깅 단서를 개선했다.

핵심 기여

생성 중 컴파일러 피드백을 얻는 generative compilation 패러다임 도입

논문은 생성 과정 중간의 부분 프로그램에 대해 표준 컴파일러의 진단을 획득하는 새로운 패러다임을 도입했다. 이 접근은 컴파일러를 후처리 도구가 아니라 생성 과정의 활성 구성요소로 전환해 오류를 조기에 식별하도록 설계되었다. 결과적으로 오류 전파를 줄이고 수정 가능한 진단을 더 일찍 제공하는 효과를 보였다.

부분 프로그램을 완성 가능한 형태로 변환하는 sealor 설계와 성질 증명

중심 기술인 sealor는 문법 중심의 경량 변환기로서 부분 프로그램을 컴파일러가 진단할 수 있는 완전한 프로그램으로 변환한다. 설계 목표는 '완성 가능한(partial-to-complete 가능한) 부분 프로그램은 결코 거부하지 않음'과 '진짜 막다른 길(dead end)을 조기에 포착함' 두 가지를 동시에 만족하는 것이며, 이 성질을 핵심 Rust 유사 계산 체계에서 형식적으로 증명하고 Lean으로 기계화했다. 이 성질 덕분에 유효한 생성 경로는 보존되고 불필요한 오탐은 최소화된다.

실제 Rust에 대한 부분 프로그램 검사기(first partial-program checker for Rust) 확장

논문은 이론적 계산체계에서 설계한 sealor를 실제 Rust 코드에 적용해 부분 프로그램 검사기를 구현했다. 구현은 Rust의 정적 의미와 구문적 제약을 고려해 sealor 변환을 엔지니어링하여 실제 리포지토리 수준 과제에서 동작하도록 확장되었다. 이 확장은 이론적 성질이 실제 언어와 도구체계에서도 유의미하다는 점을 보였다.

형식적 검증과 구현 연계: Lean을 통한 기계화된 증명 제공

sealor의 핵심 성질은 Lean으로 기계화된 증명을 통해 확보되어 형식적 신뢰도를 높였다. 이 기계화는 설계가 수학적 관점에서 일관성을 갖는지 확인하고 실제 구현에 대한 이론적 근거를 제공했다. 연구는 형식적 논증과 엔지니어링 구현 사이의 간극을 줄여 재현성과 신뢰성을 향상시켰다.

리포지토리 수준 Rust 과제에서의 실험을 통한 실효성 검증

논문은 frontier black-box 모델과 오픈 웨이트 모델 전반에서 리포지토리 수준의 Rust 코딩 과제로 방법을 평가했다. 평가 결과 generative compilation은 표준의 생성 후 컴파일러 피드백 방식에 비해 컴파일 실패 출력 감소와 기능적 정합도 향상을 보였다. 실험은 다양한 오류를 생성 근원에 가깝게 검출해 오류 연쇄를 줄였다는 점을 보여주었다.

핵심 아이디어 이해하기

출발점은 엄격한 정적 의미를 가진 언어에서 생성형 모델이 생성하는 부분 코드가 전체 프로그램 문맥 없이 쉽게 무효화된다는 관찰이다. 기존의 후처리 컴파일러 피드백은 생성이 끝난 뒤에야 오류를 보고하므로 오류 원인을 생성 시점에서 바로 고치기 어렵고 여러 연쇄적 오류를 유발하는 문제가 반복되었다. 이 문제는 특히 Rust처럼 의미론적 제약이 강한 언어에서 두드러지며, 생성 중간 단계에서 더 풍부한 진단이 필요하다는 점이 핵심이다. 핵심 해결 원리는 부분 프로그램을 '진단 가능한' 완전 프로그램으로 변환해 표준 컴파일러가 즉시 진단을 내리도록 만드는 것이다. Sealor는 문법 중심 변환을 통해 부분 프로그램의 중요한 문맥을 보존하면서도 컴파일러가 처리할 수 있는 형태로 마무리하여, 가능한 완성 경로를 부당하게 차단하지 않도록 설계되었다. 이 방식은 생성기의 표준 샘플링 루프를 크게 변경하지 않으면서도 생성 중에 의미론적 오류를 포착할 수 있게 한다. 달라지는 점은 오류 검출의 시점과 정확성이다. 생성 후에 컴파일러가 문제를 지적하는 대신, sealor+컴파일러 루프는 생성 중에 구체적이고 근원에 가까운 오류 신호를 제공해 잘못된 생성 패스를 일찍 차단한다. 이로 인해 오류가 이후 토큰들로 전파되어 복잡한 디버깅 상황을 만드는 대신 조기에 교정 가능성이 커지고 결과적으로 컴파일 실패율과 기능 오류가 줄어드는 변화가 발생한다.

방법론

전체 접근 방식은 생성기 샘플링 루프에 sealor 기반의 부분-완성 변환과 표준 컴파일러 진단 단계를 삽입하는 것이다. 생성기가 부분 토큰 시퀀스를 출력하면 sealor는 그 부분을 문법적·구조적 문맥을 보존한 상태로 완전한 프로그램 형태로 확장하고, 그 결과를 표준 컴파일러에 제출하여 컴파일러의 오류 메시지와 진단을 확보한다. 확보된 진단은 생성기의 이후 토큰 선택에 영향을 주어 불가능하거나 비생산적인 생성 경로를 피하도록 만든다. sealor의 핵심 메커니즘은 문법 주도 변환 규칙과 보존성 보장에 있다. 변환은 부분 프로그램이 '가능한 완성'을 유지하도록 설계되어 어떤 부분이 실제로 완성 가능하면 변환 결과가 컴파일러에 의해 거부되지 않게 한다. 동시에 변환은 최소한의 추가 문맥을 삽입해 명백한 의미적 충돌이나 타입 오류 같은 '진짜 막다른 길'을 컴파일러가 포착할 수 있게 한다. 형식적 기반은 core Rust-like 계산 체계에서의 성질 정의와 증명으로 구성된다. 논문은 sealor가 완성 가능한 부분 프로그램을 거부하지 않는다는 성질과, 삽입된 문맥이 충분히 오류를 드러내는 성질을 수학적으로 명세하고 Lean으로 기계화해 검증했다. 이러한 형식적 보장은 실제 Rust 확장에서도 동일한 전략을 적용할 때 기대되는 안전성의 근거가 된다. 구현 측면에서는 core 계산체계의 설계에서 실제 Rust 문법과 의미에 맞춘 엔지니어링 확장으로 옮겨가 부분 프로그램 검사기를 구축했다. 이 구현은 리포지토리 수준의 현실적 코딩 과제에서 컴파일러와 상호작용하도록 최적화되었고, 다양한 모델 인터페이스(black-box, open-weight)에 연결해 평가가 가능하도록 설계되었다.

주요 결과

주요 실험은 리포지토리 수준의 어려운 Rust 코딩 과제들을 대상으로 수행되었으며, 평가 대상에는 black-box 계열 모델과 오픈 웨이트 모델이 포함되었다. 비교 대상은 표준적인 '생성 후 컴파일러 진단' 워크플로였고, generative compilation은 이 기준선에 비해 비컴파일 출력(non-compiling outputs)을 감소시키고 기능적 정합성(functional correctness)을 향상시켰다. 실험 결과는 생성 중 조기 진단이 오류 연쇄를 줄이는 메커니즘으로 작동함을 보여주었다. 추가 분석에서는 sealor 기반 진단이 다양한 오류 유형을 생성 근원에 가깝게 포착하는 경향을 보였다는 점이 보고되었다. 이로 인해 이후 토큰에서 발생하는 파생 오류들이 줄어들며, 디버깅에 필요한 진단 정보의 질이 개선되었다. 논문은 이러한 정성적·정량적 개선이 실제 리포지토리 코드를 대상으로 한 경우에도 관찰되었다고 보고했다. 평가는 모델 종류와 상관없이 발생 경향이 일관되었다는 점을 강조했다. 즉 frontier black-box 모델과 오픈 웨이트 모델 모두에서 generative compilation은 표준 후처리 방식에 비해 이점을 보였으며, 이는 기법이 특정 모델 접근 방식에만 의존하지 않는다는 증거로 해석되었다.

기술 상세

전체 아키텍처는 생성기 샘플링 루프, sealor 변환기, 표준 컴파일러 진단기 사이의 반복적 상호작용으로 구성된다. 생성기는 부분 토큰 시퀀스를 출력하고 sealor는 이를 최소한의 문맥을 더해 컴파일러가 처리할 수 있는 완전한 프로그램으로 변환하며, 컴파일러가 반환한 진단은 다시 생성기의 다음 토큰 확률 분포에 영향을 준다. 이 루프는 생성 과정에서 의미적 제약을 유지하도록 설계되어 오류 경로를 초기에 차단한다. sealor의 수학적 기반은 core Rust-like 계산 체계에서 정의된 가능-완성성(possible-to-complete) 성질과 진단 보존성이다. 논문은 변환이 가능-완성 부분 프로그램을 거부하지 않음을 정식화하고, 이 성질이 보장될 때 유효한 생성 경로는 보존된다고 증명했다. 이러한 증명은 Lean으로 기계화되어 설계의 엄밀성을 확보했다. 실제 Rust 확장에서는 Rust의 문법적 특성과 타입 시스템을 반영한 엔지니어링 단계가 필요했다. 논문은 core 계산체계에서의 이론적 설계 요소를 실제 Rust AST와 타입 검사 흐름에 맞게 적응시켜 부분 프로그램 검사기를 구현했으며, 이 구현은 리포지토리 규모의 복잡한 코드에서 동작하도록 최적화되었다. 구현 세부사항에는 변환 규칙의 우선순위, 삽입되는 문맥의 최소화 전략, 그리고 컴파일러 진단을 생성기 신호로 역공학하는 절차가 포함된다. 평가 설계는 표준 후처리 워크플로와의 비교, 다양한 모델 접근(black-box 및 open-weight)에서의 동작 확인, 그리고 리포지토리 수준의 과제 적용으로 구성되었다. 측정 목표는 비컴파일 출력 감소와 기능적 정합성 개선이며, 진단의 시점과 유형에 따른 오류 전파 감소 효과도 분석되었다.

실무 활용

실무에서는 생성형 모델로 Rust 등 엄격한 언어의 코드를 자동 생성할 때 컴파일 실패와 연쇄 오류가 자주 발생해 생산성 저하를 초래한다. generative compilation은 생성 단계에서 컴파일러 진단을 통합해 이러한 오류를 조기에 탐지하고 결과물의 품질을 개선하는 실무적 이점을 제공한다. 제공된 구현과 GitHub 저장소는 실제 코드베이스에 적용해 검증한 사례를 포함하므로 엔지니어링 적용이 가능한 수준이다.

코드 생성 파이프라인에서 모델이 생성한 중간 산출물을 실시간으로 검증해 컴파일 가능한 경로로 유도하는 자동 코드 보완 워크플로에 적용할 수 있다.
대규모 리포지토리 리팩터링이나 자동 보수 작업에서 생성기의 잘못된 코드 패스를 조기에 차단해 디버깅 비용을 줄이는 데 활용할 수 있다.
교육용 코드 생성 도구에서 학생이 생성한 부분 코드를 즉시 검사해 의미론적 오류에 대한 구체적 피드백을 제공하는 인터랙티브 환경에 도입할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

generative compilation(생성 기반 컴파일)sealor(실러)Rust(러스트)compiler feedback(컴파일러 피드백)partial program(부분 프로그램)

용어 해설

생성 기반 컴파일(Generative Compilation): — 생성 기반 컴파일은 코드 생성 중간 단계의 부분 프로그램에 대해 컴파일러 진단을 얻기 위해 부분 프로그램을 완전한 프로그램으로 변환해 컴파일러가 즉시 오류를 검출하도록 하는 기법으로, 생성 과정에서 오류를 조기 차단해 에러 전파를 줄이고 디버깅 단서를 제공하는 점이 핵심이다.
실러(Sealor): — Sealor는 부분 프로그램을 표준 컴파일러가 진단할 수 있는 완전한 프로그램으로 경량 변환하는 문법 중심 변환기로서, 잠재적으로 완성 가능한 부분 프로그램은 거부하지 않고도 충분한 문맥을 보존해 조기 오류를 포착하도록 설계된 기법이다.
제약된 디코딩(Constrained Decoding): — Constrained Decoding은 샘플링 단계에서 허용되지 않는 토큰을 즉시 배제해 생성 경로를 제한하는 방식으로, white-box 모델 접근과 제약 구현 비용이 요구되며 부분 프로그램 단계에서 유연한 컴파일러 피드백을 통합하기 어렵다는 한계가 존재한다.

Generative Compilation: 생성 과정에서 컴파일러 피드백을 얻는 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

다중 에이전트 비용은 그만

Semantic Triangulation을 통한 LLM 코드 환각 감소

검증 게이트로 PLC 코드 실행 신뢰성 높이기

AI가 생성한 코드의 완벽한 정확성을 보장하는 형식 검증과 Lean

문법 제약 디코딩과 정책 계층의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

다중 에이전트 비용은 그만

Semantic Triangulation을 통한 LLM 코드 환각 감소

검증 게이트로 PLC 코드 실행 신뢰성 높이기

AI가 생성한 코드의 완벽한 정확성을 보장하는 형식 검증과 Lean

문법 제약 디코딩과 정책 계층의 한계