Program-as-Weights: 퍼지 함수를 위해 명세를 가중치로 컴파일하는 프로그래밍 패러다임

일반적인 규칙 기반 코드로는 구현하기 어려운 퍼지한 함수들을 매 입력마다 대형 모델 API를 호출하지 않고 로컬에서 효율적으로 실행할 수 있게 해준다는 점에서 중요하다. 이 접근은 반복적 API 비용과 재현성 문제를 줄이며, 컴파일 시점에 무거운 계산을 한 번 수행하고 이후 호출을 저비용 로컬 실행으로 대체한다는 아키텍처적 전환을 제시한다. 결과적으로 소형 인터프리터와 PEFT 어댑터 조합으로 실무적 퍼지 작업을 오프라인·버전 관리 가능한 아티팩트로 배포할 수 있다.

퍼지 함수는 사람이 직관적으로 처리할 수 있으나 규칙 기반 코드로는 완전하게 명세하기 어려운 문제군이다. 기존에는 이런 문제를 해결하기 위해 매 입력마다 대형 LLM API를 호출하는 방식이 널리 사용되었고, 이 방식은 비용·지연·재현성 측면에서 한계가 생겼다. PAW는 이 문제를 컴파일-런타임 분리 관점에서 다시 구성해, 명세를 한 번만 읽고 그 결과로 작은 가중치 아티팩트를 생성하는 방식으로 접근한다. PAW의 작동 원리는 컴파일러가 자연어 명세와 소수의 예제를 받아 이산 의사-프로그램과 연속적 PEFT 파라미터를 생성하는 것이다. 생성된 연속적 파라미터는 LoRA 형태로 표현되어 고정된 인터프리터의 적절한 모듈에 삽입되고, 의사-프로그램은 인터프리터 입력의 선두에 붙어 합성된 동작을 유도한다. 이 과정은 컴파일 단계에서 복잡한 언어 이해와 변환을 수행하고 런타임은 경량 추론만 수행하도록 역할을 나눈다. 이 접근은 실행 비용과 메모리 요구량을 근본적으로 줄인다. 논문 실험에서는 0.6B 인터프리터가 PAW 프로그램을 실행할 때 Qwen3-32B를 직접 프롬프트했을 때보다 높은 정확도를 보였고, 추론 메모리는 대략 1/50 수준으로 감소했다. 따라서 PAW는 학습과 컴파일을 클라우드에서 집중하고 그 결과물을 로컬에 배포해 반복적인 서빙 비용을 줄이는 형태로 기존 대형 모델 중심의 워크플로를 전환시킨다.

PAW 파이프라인은 세 가지 컴포넌트로 구성된다. 먼저 off-the-shelf pseudo compiler가 명세 s를 받아 의사-프로그램 p_discrete를 생성한다. 이어서 PEFT 컴파일러가 s와 p_discrete를 입력으로 받아 prefix-position 히든스테이트를 산출하고, 이 히든스테이트를 LoRA 매퍼에 전달해 p_continuous(LoRA)를 합성한다. Text-to-LoRA 구현에서 컴파일러는 [s ∣ p_discrete ∣ EOS ∣ τ_{1:T}]를 입력으로 단일 순전파를 수행해 L×T×d 차원의 히든스테이트 H를 얻는다. H는 레이어 깊이 정렬된 위치에서 평균 풀링되어 벡터 1h로 축소되고, 이 벡터는 얕은 MLP ϕ를 통과해 계수 α^{A,B}{l,m,n}를 생성한다. 각 계수는 모듈 유형 m과 계층 l, basis 인덱스 n에 대응하며, 최종 LoRA는 shared basis A^{(m)}{1:N}, B^{(m)}_{1:N}와 α의 선형 조합으로 합성된다. 훈련은 PEFT 컴파일러 파라미터 θ만을 업데이트하는 감독학습으로 수행된다. 각 (s,x,y) 삼중항에서 미리 생성된 p_discrete=C_p(s)를 조회해 C_L의 순전파로 p_LoRA를 얻고 이를 인터프리터에 주입한 뒤 대상 y에 대한 음의 평균 토큰 로그우도 −log P_ϕ(y | p_discrete, p_LoRA, x)를 최소화한다. 그래디언트는 고정된 인터프리터를 거쳐 LoRA 매퍼와 컴파일러로 전파된다.

주요 실험은 FuzzyBench 검증된 테스트셋에서 수행되었고, PAW(Qwen3 0.6B 인터프리터)는 73.78%의 exact match를 기록해 Qwen3-32B 직접 프롬프트의 68.70%를 상회했다. 이 성능 우위는 추론 메모리 측면에서 약 50배 절감(베이스 bf16 대비 1.2GB vs 약 60GB 수준)과 결합되어 실무적 효율을 입증했다. 추가로 Qwen3.5 0.8B와 GPT-2 124M 인터프리터에서도 PAW가 동작해 컴파일러가 생성한 LoRA가 소형 베이스에서도 유의미한 적응을 제공함이 확인되었다. 구조적 비교 및 ablation에서 prefix-tuning 대비 Text-to-LoRA가 우수했다. 동일 훈련 자원에서 prefix-tuning은 50.4%를, Text-to-LoRA는 r=18에서 56.5%, r=64에서 65.7%를 보였고 전체 스케일에서 r=64 설정으로 73.78%에 도달했다. 또한 LoRA 매퍼의 설계상 단순한 mean-pool+MLP+shared-basis가 per-position 또는 per-layer 기반과 같은 더 복잡한 설계보다 오히려 높은 정확도를 보였다. 강건성 실험에서는 노이즈가 가해진 명세(타이포·문법·모호성 등)에 대해 성능 저하폭이 작게 관찰되었고, 이는 pseudo compiler가 noisy spec을 정제해 의사-프로그램으로 전달함으로써 인터프리터가 정제된 입력을 받기 때문임이 추가 실험으로 확인되었다. 양자화 실험에서는 Q6_K base + Q4_0 LoRA 조합이 bf16과 통계적으로 구분 불가능한 성능을 유지했고 Q4_K_M base + Q4_0 LoRA는 약 1.3 포인트 손실로 전체 디스크 사용량을 크게 줄이는 트레이드오프를 보였다.

전체 아키텍처는 pseudo compiler, PEFT compiler(Text-to-LoRA), 그리고 고정된 인터프리터의 세 부분으로 구성된다. pseudo compiler는 off-the-shelf Qwen3-4B-Instruct를 프롬프트로 사용해 명세를 재진술하고 대표 입출력 예시를 생성해 p_discrete를 만든다. PEFT compiler(C_L)는 같은 계열의 4B 모델로 초기화하여 학습을 통해 prefix-position 히든스테이트 H를 생성하고 LoRA 매퍼에 전달한다. LoRA 매퍼는 H를 L×T 축에서 평균 풀링해 1h를 얻고 이를 얕은 MLP ϕ로 처리해 각 레이어 l과 모듈 타입 m, basis 인덱스 n에 대한 혼합 계수 α^{A,B}{l,m,n}를 출력한다. 합성 공식은 A^{ex}{l,m} = Σ_n α^{A}{l,m,n} A^{(m)}n, B^{ex}{l,m} = Σ_n α^{B}{l,m,n} B^{(m)}_n이며 rank r=64, N=64의 공유 기반을 사용해 최종 LoRA를 구성한다. 논문에서 이 설계는 per-position·per-layer 확장보다 실제 성능이 높게 관찰되었다. 훈련은 PEFT compiler 파라미터 θ만 업데이트하는 감독학습으로 정의되며 손실 함수는 고정된 인터프리터의 조건부 토큰 로그우도의 음수 평균이다. 구체적으로 각 (s,x,y)에서 p_discrete=C_p(s)를 조회하고 C_L의 순전파로 p_LoRA를 얻어 인터프리터에 주입한 뒤 −log P_ϕ(y | p_discrete, p_LoRA, x)를 최소화한다. 그래디언트는 인터프리터를 통해 LoRA 매퍼와 C_L로 역전파되어 컴파일러가 텍스트 명세를 가중치로 매핑하도록 학습된다. 배포와 실행 측면에서는 LoRA 어댑터의 평상시 크기가 약 23 MB(Q4_0 양자화 기준)이고 베이스는 다양한 GGUF 양자화 구성으로 디스크·메모리 절감을 달성했다. 실험에서는 Q6_K base + Q4_0 LoRA 조합이 bf16과 유사한 성능을 유지했고 Q4_K_M base + Q4_0 LoRA는 약 1.3 포인트 손실로 디스크를 약 507 MB로 줄였다. MacBook M3에서 Q5_K_M base + Q4_0 어댑터는 약 31.6 tokens/s의 처리율과 0.48 s의 콜드 로드 시간을 기록했다.

논문은 장문 구조적 생성 작업에서의 한계를 명시했다; 긴 의사-프로그램과 예시들이 소형 인터프리터의 컨텍스트 버짓을 차지하여 Im2LaTeX와 같은 장문 생성에서는 prefix-tuning이 LoRA보다 우수하게 나타났다. 데이터 측면에서는 FuzzyBench가 gpt-5.2로 합성된 데이터이며, 데이터 생성 모델의 성능(예: gpt-5.2 상한 96.09%)이 실험적 상한을 설정한다는 점이 언급되었다. 양자화와 소형 베이스 사용은 대부분의 작업에서 큰 성능 저하 없이 작동했지만 일부 양자화 구성은 약간의 정확도 손실(예: Q4_K_M에서 약 1.3 포인트)을 보였다.