ProgramAsWeights: 자연어 설명을 신경망 프로그램으로 컴파일하는 새로운 접근 방식

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

자연어 설명을 LoRA 어댑터와 의사 코드로 변환하여 고정된 소형 모델을 특정 작업에 최적화하는 신경망 컴파일러 PAW를 소개한다.

자연어 설명을 기반으로 고정된 소형 모델을 특정 작업에 맞게 조정하는 신경망 컴파일러 PAW(ProgramAsWeights)를 개발하여 공개했다.

PAW는 자연어 함수 설명을 입력받아 LoRA 어댑터와 의사 프로그램 조합인 신경망 프로그램을 생성한다. 이 과정에서 고정된 소형 모델인 Qwen3 0.6B 등을 인터프리터로 활용하여 특정 작업을 수행한다.

컴파일러는 Qwen3 4B를 파인튜닝하여 구성했으며, 별도의 경사 하강법 없이 단일 순전파(forward pass)로 LoRA 가중치와 의사 프로그램을 출력한다. 이를 통해 컴파일 시간을 획기적으로 단축했다.

FuzzyBench 벤치마크 결과, PAW를 적용한 0.6B 모델은 73.4%의 정확도를 기록하여 32B 모델의 프롬프팅 결과인 68.7%를 상회했다. 이는 모델 크기가 50배 더 큰 모델보다 효율적인 성능을 보여준다.

GPT-2 124M 인터프리터를 사용할 경우 WebAssembly를 통해 브라우저 내 로컬 추론이 가능하다. 기본 모델 134MB와 프로그램당 5MB의 가벼운 용량으로 배포 효율성을 극대화했다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

자연어 설명을 LoRA 어댑터와 의사 코드로 변환하여 고정된 소형 모델을 특정 작업에 최적화하는 신경망 컴파일러 PAW를 소개한다.

자연어 설명을 기반으로 고정된 소형 모델을 특정 작업에 맞게 조정하는 신경망 컴파일러 PAW(ProgramAsWeights)를 개발하여 공개했다.