MedQA: AMD ROCm 환경에서 CUDA 없이 임상 AI 파인튜닝하기

섹션별 상세

NVIDIA GPU와 CUDA가 지배적인 AI 학습 환경에서 AMD Instinct MI300X와 ROCm 6.1을 활용한 대안적 파이프라인을 구축했습니다. 환경 변수 설정만으로 기존 Hugging Face Transformers와 PEFT 코드를 수정 없이 그대로 실행할 수 있음을 보여주었습니다. 이는 특정 하드웨어 벤더에 대한 의존성을 낮추고 멀티 벤더 전략을 가능하게 하는 기술적 근거가 됩니다.

MI300X의 192GB HBM3 메모리 덕분에 7B 이하 모델 학습 시 메모리 부족 문제를 겪지 않고 fp16 정밀도를 유지할 수 있었습니다. 일반적으로 VRAM이 부족한 환경에서 필수적인 4비트 또는 8비트 양자화 과정을 생략함으로써 양자화로 인한 성능 저하(artifact)를 방지했습니다. 이를 통해 더 깨끗한 학습 데이터 흐름을 유지하고 엔지니어링 복잡도를 획기적으로 줄였습니다.

근거

AMD Instinct MI300X는 단일 장치에서 192GB의 HBM3 메모리를 제공한다. — Why AMD ROCm? 섹션 첫 문장

LoRA(Low-Rank Adaptation) 기법을 사용하여 Qwen3-1.7B 모델의 attention 레이어에만 학습 가능한 행렬을 주입했습니다. 전체 15억 개 파라미터 중 약 220만 개(0.14%)만을 업데이트하여 학습 속도를 극대화하고 메모리 사용량을 최소화했습니다. 그 결과 2,000개의 MedMCQA 샘플 데이터셋으로 단 5분 만에 파인튜닝을 완료하는 성과를 거두었습니다.

근거

LoRA를 통해 전체 파라미터의 약 0.14%인 220만 개만 학습에 사용되었다. — LoRA Configuration 코드 블록 하단 설명
MI300X에서 2,000개의 샘플로 학습하는 데 약 5분이 소요되었다. — Results 표 및 The Dataset 섹션

단순한 정답 선택을 넘어 임상적 근거를 함께 제시하도록 모델을 학습시켜 의료 AI의 설명 가능성을 높였습니다. 질문, 옵션, 정답, 설명을 포함하는 일관된 프롬프트 템플릿을 사용하여 모델이 논리적인 추론 과정을 출력하도록 유도했습니다. 실제 테스트 결과 모델은 정답 알파벳과 함께 해당 치료법이 왜 적절한지에 대한 의학적 설명을 성공적으로 생성했습니다.