NERSC, ClearML을 활용한 차세대 과학 AI 인프라 구축

NERSC는 12,000명 이상의 연구자가 사용하는 미국 에너지부 산하 슈퍼컴퓨팅 시설로, 기존의 단순 시뮬레이션 중심 워크플로에서 AI 학습 및 추론이 결합된 복합 워크플로로 전환 중이다. 이 과정에서 발생하는 인프라 복잡성을 해결하기 위해 ClearML을 도입하여 Slurm 기반 클러스터와 통합된 오케스트레이션 환경을 구축했다. 연구자들은 ClearML을 통해 인프라 관리 부담 없이 하이퍼파라미터 튜닝, 다중 노드 학습, LLM 서빙 등 복잡한 AI 작업을 수행한다. 특히 MCP 서버와 LangChain을 결합한 에이전트 워크플로를 구현하여 자연어 기반의 작업 자동화와 리소스 관리를 실현했다.