nvidia-a100
NVIDIA A100 GPU (80GB)
고성능 연산용 GPU로 대형 모델의 로컬 추론에 널리 쓰인다. 기사에서는 80GB VRAM을 가진 A100 한 대에 2025년 발표 모델이 올라가 추론을 수행한 사례로 언급된다. 단일 노드에서 모델을 호스팅할 수 있다는 점이 외부 API 차단의 회피를 가능하게 한다.
NVIDIA A100 GPU (80GB)
고성능 연산용 GPU로 대형 모델의 로컬 추론에 널리 쓰인다. 기사에서는 80GB VRAM을 가진 A100 한 대에 2025년 발표 모델이 올라가 추론을 수행한 사례로 언급된다. 단일 노드에서 모델을 호스팅할 수 있다는 점이 외부 API 차단의 회피를 가능하게 한다.
