apache-spark

대규모 데이터 처리를 위한 오픈소스 분산 컴퓨팅 프레임워크다. 여러 대의 컴퓨터를 연결한 클러스터 환경에서 테라바이트급 데이터를 처리할 때 필수적이다.