ML 프로젝트의 디스크 공간 관리를 위한 경량 CLI 도구: cloud-vfs

커뮤니티 반응

대체로 긍정적이며, DVC의 무거움에 공감하는 사용자들로부터 도구의 가벼움과 수동 제어 방식에 대한 관심을 받고 있다.

섹션별 상세

기존 DVC나 Git LFS는 리포지토리와 밀접하게 결합되어 있어 대용량 아티팩트 관리 시 무겁게 느껴질 수 있다. cloud-vfs는 특정 경로(data/)의 파일만 대상으로 하여, 수동으로 오프로드하고 필요할 때만 가져오는 방식을 채택했다.

작동 원리는 정책 기반의 파일 인벤토리(.cloud-vfs/index/)를 생성하고, sha256 해시를 통해 로컬 파일과 원격 스토리지 간의 상태를 추적한다. 오프로드 시 로컬 파일을 스텁(stub)으로 대체하고, ensure 명령어로 필요 시 다시 가져오는 lazy-fetch 방식을 사용한다.

안전성을 위해 오프로드 전 dry-run 기능을 제공하며, reconcile 명령어로 디스크, 인벤토리, 원격 스토리지 간의 데이터 일치 여부를 감사할 수 있다. 또한 Cursor와 같은 AI 도구와의 연동을 위한 스킬 기능을 포함하여 에이전트 환경에서도 안전하게 작동하도록 설계했다.

언급된 도구

cloud-vfs추천

대용량 ML 아티팩트 관리 및 lazy-fetch

DVC중립

데이터 버전 관리

Git LFS중립

대용량 파일 버전 관리

Cursor추천

AI 코드 에디터 연동

언급된 리소스

GitHubcloud-vfs GitHub