starcoder2-7b

StarCoder2-7B는 코드 생성에 초점을 둔 대형 언어 모델이며 이 튜토리얼에서는 BF16 프로파일로 NIM 컨테이너로 제공된 상태로 로컬 GPU에 서빙한다. 모델은 OpenAI 호환 엔드포인트를 노출하므로 IDE의 OpenAI base URL 옵션에 연결하면 기존 어시스턴트와 교체 없이 사용 가능하다. H100/H200은 최대 처리량 프로파일을 제공하지만 파일럿에는 24GB급 GPU(A10, L4, L40S, A100 등)로도 실행 가능하다.