5억 7천만 개의 아마존 리뷰 분석: 대규모 데이터셋 병렬 처리 사례

대규모 데이터 처리 기법에 대해 긍정적인 반응이며, 특히 HTTP Range 요청을 활용한 스트리밍 방식에 대한 기술적 관심이 높습니다.

• Hugging Face의 대용량 데이터셋을 다룰 때 requests.get의 stream=True 옵션과 HTTP Range 헤더를 조합하여 메모리 사용량을 최소화하라.
• 병렬 워커들이 공유 저장소(GCS 등)에 직접 쓰게 하여 데이터 병목 현상을 방지하라.

HTTP 범위 요청(HTTP Range Requests)

— 클라이언트가 서버에 파일의 전체가 아닌 특정 바이트 범위만 요청하는 HTTP 프로토콜 기능이다. 대규모 데이터셋을 로컬에 모두 다운로드하지 않고도 필요한 부분만 스트리밍하여 처리할 수 있게 해준다.

줄바꿈 구분 JSON(JSONL)

— 각 행이 유효한 JSON 객체로 구성된 텍스트 파일 형식이다. 대용량 데이터를 한 줄씩 읽어 처리할 수 있어 메모리 효율적인 데이터 파이프라인 구축에 널리 사용된다.

맵리듀스(MapReduce)

— 대규모 데이터를 병렬로 처리하기 위한 프로그래밍 모델이다. 데이터를 여러 조각으로 나누어 개별 작업자에게 할당(Map)하고, 그 결과를 다시 하나로 합치는(Reduce) 과정을 통해 처리 속도를 극대화한다.