Pandas vs. Polars: 구문, 속도 및 메모리 사용량 완벽 비교

섹션별 상세

Polars는 Rust 기반의 쿼리 엔진을 사용하여 멀티 코어 병렬 처리를 기본적으로 지원한다. 단일 스레드 방식으로 작동하는 Pandas의 CSV 리더와 달리, Polars는 파일 읽기 단계부터 모든 CPU 자원을 활용하여 100만 행 기준 약 8.2배의 속도 향상을 달성했다.

python

import pandas as pd
import polars as pl
import time

# pandas: Read CSV
start = time.time()
df_pandas = pd.read_csv('large_dataset.csv')
pandas_time = time.time() - start

# Polars: Read CSV
start = time.time()
df_polars = pl.read_csv('large_dataset.csv')
polars_time = time.time() - start

print(f"Pandas read time: {pandas_time:.2f} seconds")
print(f"Polars read time: {polars_time:.2f} seconds")

Pandas와 Polars의 CSV 파일 읽기 속도를 비교하는 벤치마크 코드

메모리 관리 측면에서 Polars는 컬럼 기반 데이터 저장 구조를 채택하여 필요한 열만 메모리에 로드한다. psutil을 이용한 측정 결과, 동일한 필터링 및 집계 작업에서 Pandas가 44.4MB를 사용할 때 Polars는 1.3MB만을 소모하여 약 97.1%의 메모리 절감 효과를 입증했다.

두 라이브러리는 구문 설계 철학에서 차이를 보인다. Pandas는 대괄호([])를 이용한 인덱싱과 가변적(Mutable) 데이터 수정을 선호하는 반면, Polars는 .select(), .filter(), .with_columns()와 같은 명시적 메서드 체이닝과 불변성(Immutability)을 강조하여 SQL과 유사한 가독성을 제공한다.

Polars의 핵심 기능인 지연 평가(Lazy Evaluation)는 scan_csv()를 통해 쿼리 계획을 먼저 생성한다. 실제 결과가 필요한 .collect() 호출 시점에 필터링 순서 조정이나 불필요한 열 제외 등의 최적화 과정을 거쳐 실행 속도를 극대화하고 자원 낭비를 최소화한다.

python

import polars as pl

# Read in lazy mode
df_lazy = pl.scan_csv('large_dataset.csv')

# Build a complex query
result = (
    df_lazy
    .filter(pl.col('age') > 30)
    .group_by('department')
    .agg([
        pl.col('salary').mean().alias('avg_salary'),
        pl.len().alias('employee_count')
    ])
    .collect() # This runs the query
)

Polars의 Lazy Evaluation을 활용하여 쿼리를 최적화하고 실행하는 예시

용어 해설

지연 평가(Lazy Evaluation): — 코드를 즉시 실행하지 않고 전체 연산 과정을 계획으로 구성한 뒤, 실제 결과가 필요한 시점에 최적화하여 실행하는 방식이다. 불필요한 데이터 로딩을 방지하고 연산 순서를 재조정하여 효율성을 극대화한다.
컬럼 기반 저장(Columnar Storage): — 데이터를 행 단위가 아닌 열(Column) 단위로 저장하는 방식이다. 특정 열만 선택하여 처리할 때 I/O를 줄이고 압축 효율을 높여 대규모 데이터 분석 작업에서 성능 우위를 제공한다.
병렬 처리(Parallel Processing): — 하나의 작업을 여러 개의 작은 작업으로 나누어 여러 CPU 코어에서 동시에 실행하는 기법이다. Polars는 Rust 기반 엔진을 통해 멀티 코어를 활용함으로써 단일 스레드 기반 작업보다 빠른 속도를 구현한다.
메서드 체이닝(Method Chaining): — 여러 메서드 호출을 마침표(.)로 연결하여 순차적으로 실행하는 프로그래밍 패턴이다. 데이터 변환 과정을 논리적인 흐름에 따라 가독성 있게 작성할 수 있어 복잡한 파이프라인 구현에 유리하다.

기술

Python
Pandas
Polars
Faker
psutil

활용 사례

대용량 CSV 파일 고속 로딩
메모리 효율적인 데이터 필터링 및 집계
최적화된 데이터 변환 파이프라인 구축

언급된 리소스

GitHubGitHub Code Repository