중고 V100의 ECC 기록 점검법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

eBay에서 구매한 32GB V100은 기본 테스트를 통과했지만 llama.cpp에서 VRAM 오류가 발생했고, ECC가 꺼져 있으면 작은 메모리 결함이 숨겨질 수 있었습니다. ECC를 켠 상태에서 발생한 오류는 V100의 InfoROM에 시각 정보와 함께 남을 수 있으며, 연결된 스크립트로 retired page를 조회할 수 있습니다. 작성자의 카드에는 2019년까지 거슬러 올라가는 기록이 있었지만 다른 16GB V100에는 기록이 없었습니다. 따라서 중고 V100은 구매 직후 ECC 상태와 InfoROM 기록을 점검해야 반품 기한 이후 결함을 발견하는 일을 줄일 수 있습니다.

실용적 조언

중고 V100을 설치한 직후 ECC가 활성화되어 있는지 확인하고, 연결된 스크립트로 retired page와 InfoROM의 과거 기록을 조회한 뒤 실제 추론 작업에 투입하는 편이 안전합니다.
ECC 집계 카운터만 확인하지 말고 기록된 시각과 retired page 유무를 함께 비교해야 합니다. 게시글에서는 32GB V100의 2019년 기록과 기록이 없는 16GB V100을 대조했습니다.

섹션별 상세

작성자는 eBay에서 구매한 32GB V100을 기본 테스트했을 때 이상이 없었지만, 이후 llama.cpp에서 VRAM 관련 오류를 겪었습니다. ECC가 비활성화되어 있으면 작은 메모리 결함이 드러나지 않을 수 있어 정상으로 보이던 테스트 결과만으로 중고 GPU 상태를 판단하기 어렵다는 사례입니다.

ECC를 활성화한 상태에서 메모리 오류가 발생하면 V100의 InfoROM에 오류 기록과 시각 정보가 남을 수 있습니다. 게시글에 연결된 스크립트는 retired page를 조회하며, 작성자의 32GB V100에서는 2019년까지 거슬러 올라가는 기록이 나왔고 다른 16GB V100에서는 기록이 없었습니다.

작성자는 ECC 오류의 집계 카운터가 초기화될 수 있다고 보면서, 카운터 하나보다 InfoROM의 시각 정보와 retired page 목록을 함께 확인하는 방식을 권장했습니다. 30일 반품 기간이 지난 뒤 문제를 발견해 900달러짜리 무용품이 됐다는 경험 때문에, 다음 V100을 설치하자마자 이 검사를 실행할 계획이라고 밝혔습니다.

용어 해설

오류 정정 코드(ECC): — ECC는 GPU 메모리에서 발생한 비트 오류를 감지하고 일부를 수정하는 기능입니다. 오류가 누적되면 메모리 페이지를 사용 중지할 수 있으며, V100에서는 관련 기록이 InfoROM에 저장되어 중고 카드의 메모리 상태를 확인하는 근거가 됩니다.
InfoROM: — InfoROM은 NVIDIA GPU에 카드 상태와 관리 정보를 저장하는 비휘발성 영역입니다. ECC가 활성화된 상태에서 메모리 오류나 retired page가 발생하면 시각 정보와 함께 기록이 남아 카드의 과거 메모리 이상 여부를 확인하는 데 쓰입니다.
사용 중지된 메모리 페이지(Retired Pages): — Retired page는 반복적인 메모리 오류 때문에 GPU가 더 이상 사용하지 않도록 격리한 메모리 영역입니다. 검사 스크립트로 이 목록과 기록 시각을 조회하면 현재 테스트에서 드러나지 않은 V100 메모리 결함의 흔적을 확인할 수 있습니다.
ECC 오류 카운터(ECC Error Counter): — ECC 오류 카운터는 GPU 메모리에서 감지된 오류 누적량을 나타내는 값입니다. 게시글에서는 이 집계값이 초기화될 가능성이 있어 단순 카운터만으로는 중고 카드의 과거 상태를 확정하기 어렵고, InfoROM 기록과 retired page 목록을 함께 확인해야 한다고 봅니다.

언급된 도구

Claude중립

V100의 ECC 비활성화와 메모리 오류 기록 방식을 파악하는 데 사용되었습니다.

llama.cpp중립

V100에서 VRAM 관련 오류가 발생한 실제 추론 소프트웨어입니다.

언급된 리소스

GitHubV100 ECC 검사 스크립트