LLM 코드 생성 품질에 언어 설계가 미치는 영향: Vera 언어 벤치마크 결과

작성자의 실험 결과에 대해 놀라움을 표하며, 특히 학습 데이터가 없는 언어의 성능이 주류 언어와 대등하다는 점에 대해 방법론과 언어 설계 철학에 대한 질문이 이어지고 있습니다.

• LLM에게 코딩 작업을 시킬 때 타입 정의나 제약 조건을 명확히 명시하면 생성 품질을 높일 수 있다.
• 새로운 내부 도메인 언어(DSL)를 도입하더라도 충분한 명세서만 프롬프트에 제공한다면 LLM 활용이 가능하다.

정적 타이핑(Statically Typed)

— 프로그램의 변수 타입을 컴파일 시점에 결정하고 검사하는 방식이다. LLM이 코드를 생성할 때 타입 제약 조건을 명시적으로 제공하여 논리적 오류를 사전에 방지하고 구조적 정확성을 높이는 역할을 한다.

순수 함수형(Purely Functional)

— 부작용이 없고 동일한 입력에 대해 항상 동일한 출력을 보장하는 프로그래밍 패러다임이다. 상태 변화를 최소화함으로써 LLM이 코드의 실행 흐름을 더 예측 가능하게 파악하고 복잡한 로직을 안정적으로 구현하도록 돕는다.

강제 계약(Mandatory Contracts)

— 함수가 실행되기 전후에 반드시 충족해야 하는 조건을 코드에 명시하는 기법이다. LLM이 코드를 작성할 때 준수해야 할 명확한 가이드라인을 제공하여 생성된 결과물이 의도한 사양을 만족하는지 스스로 검증하게 한다.

휴먼이밸(HumanEval)

— LLM의 코드 생성 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 주로 파이썬 함수 작성 문제를 포함하며, 모델이 주어진 요구사항에 맞는 실행 가능한 코드를 얼마나 정확하게 생성하는지 측정하는 표준 지표로 활용된다.