자연어 사양을 실행 가능한 로컬 함수로 컴파일하는 학습

왜 중요한가

반복되는 텍스트 작업마다 remote LLM을 호출하면 네트워크 지연, provider 비용, 외부 서비스 의존성이 계속 발생합니다. Compile by training은 대형 teacher model을 컴파일 시점에만 사용하고, 이후에는 공유 interpreter와 사양별 adapter로 로컬 실행해 이 반복 비용을 줄이는 구조를 제시합니다.

핵심 기여

자연어 사양에서 neural function 생성

Teacher model이 자연어 사양에서 검증된 입력·출력 예시를 합성하고, 그 데이터로 compact interpreter의 사양별 LoRA adapter를 학습합니다. 결과물에는 adapter, 실행 scaffold, 원래 사양, interpreter 메타데이터가 함께 들어가 재사용 가능한 .paw artifact가 됩니다.

PAW 초기화와 추가 학습의 결합

Program-as-Weights의 amortized compiler가 수초 안에 함수별 초기 adapter와 scaffold를 예측하고, Compile by training이 이를 teacher supervision 기반 최적화로 정제합니다. 빠른 단일 예측과 추가 컴파일 시간에 따른 정확도 향상을 하나의 실행 인터페이스에서 결합합니다.

대화형 서비스에 맞춘 스트리밍 컴파일

Teacher 요청, 모델 로딩, 학습을 병렬로 시작하고 첫 batch에 필요한 예시가 도착하는 즉시 학습을 진행합니다. 영속 job record, 공유 queue, teacher 출력 cache, 중앙 artifact store를 사용해 사용자가 페이지를 이동해도 작업 상태와 결과를 유지합니다.

여러 neural function의 실제 조합

Paw-helper에서는 30개 compiled program 중 28개를 사이트별 라우팅에 사용하고, fuzzy decision은 neural function에 맡기며 BM25 retrieval, caching, branch control 같은 정확한 작업은 일반 코드로 처리합니다. 같은 구조를 3D avatar의 action DSL 생성과 English–Claudish 양방향 변환에도 적용합니다.

핵심 아이디어 이해하기

일반 규칙 코드는 ‘EOD까지 서명 필요’와 뉴스레터를 서로 다르게 처리하는 자연어 판단처럼 애매한 작업을 표현하기 어렵고, 반대로 매 입력마다 remote LLM을 부르면 네트워크 지연과 호출 비용이 반복됩니다. 이 논문은 자연어 사양을 한 번의 build 단계에서 작은 neural function으로 바꾸어 두 선택지 사이의 간극을 메웁니다.

먼저 teacher model에 사양을 입력해 함수가 어떤 입력을 어떤 출력으로 바꿔야 하는지 예시를 만듭니다. 그 다음 공유된 frozen language model이 예시를 처리하도록 사양별 LoRA adapter를 학습합니다. 즉 사양은 teacher supervision으로 변환되고, 예시는 adapter 파라미터로 변환되며, 새 입력은 teacher 호출 없이 interpreter와 adapter를 거쳐 출력됩니다.

Program-as-Weights의 빠른 컴파일러는 함수별 초기 adapter를 수초 만에 예측하지만 모든 함수에 고정된 계산량을 사용합니다. Compile by training은 이 초기값에 teacher 예시와 gradient descent를 추가해 작업별로 더 오래 최적화합니다. 그 결과 컴파일 시간은 늘어나지만 실행 시에는 동일한 프로그램 형식으로 저장·버전 관리·캐시·조합이 가능하고, 반복 호출에서 대형 모델을 다시 부르지 않습니다.

이 구조는 자연어 판단과 결정적 소프트웨어의 역할을 나눕니다. 예를 들어 웹사이트 helper는 질문의 답변 경로 선택을 compiled function으로 처리하고, Piazza 검색과 branch control은 일반 코드로 처리합니다. 따라서 애매한 언어 변환은 학습된 함수가 맡고, 정확성이 필요한 검색·검증·실행은 명시적 제어 경로에 남습니다.

방법론

시스템 입력은 자연어 함수 사양 s이며, 컴파일 결과 p_s와 새 입력 x에 대한 출력 y를 각각 p_s = Compile(s), ŷ = Run(p_s, x)로 정의합니다. 컴파일 시점에는 teacher model이 사양에서 데이터셋을 합성하고, 실행 시점에는 저장된 프로그램이 teacher 없이 새 입력을 처리합니다.

Teacher 요청은 구조화된 JSON으로 생성되어 파이프라인에 들어가며, compiler가 malformed 또는 불완전한 batch를 거부합니다. 사양 s에서 생성된 각 쌍은 입력 x_i와 목표 출력 y_i로 구성되고, 예를 들어 /pdf/ 링크의 arXiv ID만 추출하고 /abs/ 링크는 무시하는 동작을 하나의 예시로 표현합니다. 공개 서비스는 대부분의 예시를 낮은 비용의 teacher가 만들고, 더 큰 teacher가 보완 supervision을 제공합니다.

모든 함수가 별도 full model을 갖지 않도록 frozen Qwen3-0.6B interpreter를 공유하고, 함수마다 rank-64 LoRA adapter와 compiler-generated scaffold를 둡니다. Scaffold는 자유 형식 사양을 구조화된 task instruction과 example로 바꾸고 새 입력을 삽입할 placeholder를 남깁니다. PAW amortized compiler가 초기 adapter와 scaffold를 제공한 뒤 합성 데이터로 adapter를 최적화하며, 각 예시에서 정답 y의 조건부 확률을 계산하고 그 음의 로그를 합산해 손실을 줄입니다.

공개 Finetuned Standard 설정은 quantized Qwen3-0.6B, mixed teachers, rank-64 LoRA(alpha 16), amortized-compiler warm start, 100-step cosine schedule로 구성됩니다. 학습이 끝나면 adapter, scaffold, 원래 사양, interpreter 메타데이터를 .paw artifact로 패키징하고 SDK가 새 입력과 runtime prompt를 결합해 공유 interpreter를 실행합니다.

대화형 서비스에서는 teacher 합성과 학습을 순차 실행하지 않습니다. Teacher 응답, 모델 로딩, 학습을 동시에 시작하고 첫 batch에 필요한 예시가 도착하면 학습을 진행하되, 합성이 늦어지면 해당 지점에서만 대기합니다. 영속 API record가 job 상태를 관리하고 shared queue가 GPU worker에 작업을 배정하며, worker는 기존 teacher 출력 cache를 먼저 확인한 뒤 없는 예시만 요청합니다.

주요 결과

FuzzyBench-Hard는 PAW fast compiler가 exact match를 한 번도 내지 못한 사양 subset입니다. 의미가 같은 JSON이 공백이나 key 순서 때문에 달라지는 문제를 피하기 위해 LLM Exact Match(LEM)를 사용했으며, GPT-5.5 judge는 저자 라벨 128개와 비교해 accuracy 0.977, Cohen’s κ 0.946을 기록했습니다.

Compile by training의 평균 LEM은 0.224에서 0.836으로 0.612 절대 상승했습니다. 대신 평균 컴파일 시간은 PAW fast amortized compiler의 3.5초에서 50.9초로 늘었습니다. 즉 수초의 단일 forward-pass 예측보다 약 1분의 teacher 합성·adapter 학습을 투자할 때, 해당 어려운 subset에서 의미 정확도가 높아졌습니다.

Teacher 구성도 결과에 영향을 줬습니다. 3600개 고유 pair를 반복해 6400개 학습 예시를 만든 조건에서 GPT-5.4-mini만 사용한 평균 LEM은 0.746이었고, GPT-5.4-mini와 GPT-5.5를 2:1로 섞으면 0.851이 됐습니다. 데이터 규모를 1440개에서 2400개로 늘리면 0.821에서 0.836으로, 3600개에서는 0.836으로 유지됐으며, 7200개에서는 0.866에 도달했습니다.

서비스 시작 시 측정한 cold compile 시간은 B300에서 50.9초, H200에서 68.2초, RTX GPU에서 99.2초였습니다. 네 개 job을 동시에 제출한 부하 테스트에서는 평균 queue wait가 1.01초였고 네 작업이 모두 완료됐습니다. Teacher synthesis가 전체 지연을 크게 차지하므로 합성과 학습의 overlap이 critical path를 줄이는 핵심입니다.

응용 사례에서도 구조화된 실행 결과가 확인됐습니다. Paw-helper는 30개 compiled program을 사용하며 그중 28개가 live routing에 참여합니다. Avatar Director는 44개 hand-authored validation instruction 중 43개에서 기대한 action structure를 생성했습니다. English–Claudish translator는 2026년 8월 22일부터 9월 2일까지 성공적인 변환 요청 100,747건을 처리했습니다.

기술 상세

입력은 자연어 사양, 출력은 재사용 가능한 neural program이며, 실행 때마다 새 입력을 프로그램의 runtime scaffold에 넣어 공유 interpreter가 출력합니다. 프로그램별로 별도 full model을 저장하지 않고 quantized Qwen3-0.6B를 frozen interpreter로 공유하며, 함수별 차이는 rank-64 LoRA adapter와 scaffold가 담당합니다. 공개 설정의 LoRA alpha는 16이고 100-step cosine schedule을 사용합니다.

초기화에는 Program-as-Weights의 amortized compiler를 사용합니다. 이 컴파일러는 사양별 adapter 파라미터와 scaffold를 수초 안에 예측하고, 이후 teacher가 생성한 dataset으로 추가 학습합니다. 학습 대상은 adapter 파라미터 θ_s이며, 각 입력 x와 목표 출력 y에 대해 scaffold r_s(x)를 조건으로 한 y의 확률을 계산해 negative log-likelihood를 합산합니다. y가 모델에서 높은 확률을 받을수록 해당 항의 손실이 작아지고, gradient descent는 이 손실을 낮추는 방향으로 adapter를 갱신합니다.

Teacher 데이터는 구조화된 JSON 응답으로 생성되고 compiler 검증을 통과해야 합니다. 공개 서비스는 낮은 비용의 GPT-5.4-mini 계열 teacher가 대부분을 생성하고 GPT-5.5가 보완 supervision을 제공하는 혼합 구성을 사용했으며, 2:1 혼합 조건에서 평균 LEM이 0.746에서 0.851로 상승했습니다.

서비스 구현은 API coordinator, shared queue, GPU worker, cache, artifact store로 나뉩니다. Worker는 teacher 출력 cache에 동일 결과가 있는지 확인하고, 없는 예시만 생성 요청을 보냅니다. 합성 응답이 서로 다른 시점에 도착해도 앞선 batch에 필요한 빈 slot부터 채우며, accepted example과 지정된 training order는 바꾸지 않습니다.

실행 결과가 자유 텍스트가 아닌 구조화된 DSL일 때는 결정적 코드가 후처리를 맡습니다. Avatar 사례에서는 compiled program이 자연어를 sequence, duration, repetition, 호환 가능한 parallel motion을 표현하는 action DSL로 바꾸고, 브라우저가 DSL을 검증한 뒤 3D character motion을 실행합니다. Paw-helper에서는 neural function이 fuzzy routing과 답변 선택을 처리하고 BM25 retrieval, caching, branch control은 일반 코드가 담당합니다.

한계점

Synthetic supervision이 teacher의 오류를 물려받을 수 있으며, 정확성 보장이 필요한 애플리케이션은 출력 검증이나 결정적 control path를 유지해야 합니다. 응용 사례의 근거는 function composition과 structured execution에 집중되어 있고, 체계적인 사용자 연구는 후속 과제로 남아 있습니다.

실무 활용

자연어로 반복 텍스트 작업을 정의하고, teacher model과 GPU를 컴파일 시점에만 사용한 뒤 결과를 로컬 SDK나 웹 애플리케이션에서 반복 실행할 수 있습니다. 특히 언어 판단은 compiled function에 맡기고 검색·캐시·검증·branch control은 일반 코드로 유지하는 혼합 구성이 적합합니다.

웹사이트와 강의 페이지를 대상으로 한 질문 라우팅·답변·검색 결과 병합
자연어 지시를 action DSL로 변환하는 3D avatar 제어
English와 Claudish 사이의 양방향 문체 변환
arXiv URL에서 `/pdf/` 링크의 식별자만 추출하는 반복 텍스트 함수

코드 공개 여부: 공개

코드 저장소 보기

키워드

Compile by training(학습 기반 컴파일)Program-as-Weights(가중치 기반 프로그램)LoRA(저랭크 적응)Qwen3-0.6B(공유 interpreter)Synthetic Supervision(합성 지도)Semantic Accuracy(의미 정확도)FuzzyBench-Hard(난제 벤치마크)Neural Function(신경망 함수)

용어 해설

합성 지도(Synthetic Supervision): — 사람이 직접 라벨을 만드는 대신 teacher model이 자연어 사양을 읽고 입력·출력 예시를 생성해 학습 데이터로 사용하는 방식입니다. 이 논문에서는 생성된 예시를 검증한 뒤 LoRA adapter 학습에 투입해 특정 텍스트 함수의 동작을 익히게 합니다.
Program-as-Weights: — 공유된 언어 모델을 interpreter로 두고, 작업별 가중치와 실행 프롬프트를 neural program으로 구성하는 방식입니다. 이 논문은 PAW의 빠른 초기 예측을 학습 시작점으로 사용한 뒤 추가 최적화를 수행합니다.
LoRA: — 기존 모델의 전체 가중치를 갱신하지 않고 저랭크 adapter만 학습하는 parameter-efficient fine-tuning 기법입니다. 논문에서는 frozen Qwen3-0.6B interpreter마다 사양별 LoRA adapter를 학습해 저장 비용과 실행 구조를 공유합니다.
의미 정확도(Semantic Accuracy): — 문자열이 완전히 같은지보다 사양에 맞는 의미를 보존했는지를 기준으로 출력의 정답 여부를 평가하는 지표입니다. 이 논문에서는 LLM judge가 사양, 입력, 기준 출력, 예측을 함께 보고 semantic correctness를 판정합니다.
분산형 컴파일러(Amortized Compiler): — 각 함수에 필요한 컴파일 결과를 한 번의 forward pass로 빠르게 예측해 초기 가중치를 제공하는 컴파일 방식입니다. Compile by training은 이 초기값을 그대로 끝내지 않고 teacher 예시와 추가 학습으로 함수별 정확도를 높입니다.
Teacher Model: — 목표 함수의 자연어 사양을 바탕으로 입력·출력 학습 예시를 생성하는 대형 모델입니다. 생성 결과는 JSON 형식으로 검증되며, 통과한 예시만 compact interpreter의 adapter 학습에 사용됩니다.

자연어 사양을 실행 가능한 로컬 함수로 컴파일하는 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

좁은 반복 업무에서 4B와 72B의 성능 격차

SmolLM3로 만드는 소형 언어 모델 실무 가이드

LoRA로 소형 LLM에 가상 도시 익히기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

좁은 반복 업무에서 4B와 72B의 성능 격차

SmolLM3로 만드는 소형 언어 모델 실무 가이드

LoRA로 소형 LLM에 가상 도시 익히기