코드 완성 벤치마크
실제 저장소에서 추출한 코드 조각에 대해 모델이 누락된 토큰이나 후속 코드를 얼마나 정확히 예측하는지를 측정하는 평가 세트로 구성된다. 벤치마크는 문법 적합성, 토큰 정밀도, 완성 제안의 유용성 등 여러 관점을 포함하여 모델 간 비교를 가능하게 만든다. 본 논문에서는 Pharo의 문법 학습 여부와 실제 GitHub 코드의 마스킹 완성 성능을 각각 평가하는 전용 벤치마크 세트를 구축하였다.