Lakebase 아키텍처를 통한 PostgreSQL 캐시 프리워밍 및 무중단 패치 구현

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

데이터베이스 재시작 시 메모리 캐시가 소실되어 발생하는 성능 저하는 서비스 가용성에 심각한 위협이 된다. Lakebase는 공유 스토리지와 상태가 없는 컴퓨트 노드 아키텍처를 활용하여, 계획된 재시작 전 백그라운드에서 새로운 노드를 생성하고 캐시를 미리 채우는 'Prewarming' 기술을 도입했다. 이 방식은 기존 프라이머리의 페이지 리스트와 WAL 스트림을 사용하여 데이터를 로드함으로써 기존 시스템에 부하를 주지 않고도 재시작 직후 성능을 유지한다. 벤치마크 결과, Prewarming을 적용한 시스템은 재시작 후 처리량이 즉시 회복되어 읽기 전용 워크로드의 성능 급락 문제를 해결했다.

배경

PostgreSQL 기본 지식, 데이터베이스 캐싱 메커니즘 이해, 클라우드 네이티브 아키텍처 개념

대상 독자

데이터베이스 관리자(DBA) 및 클라우드 네이티브 인프라 엔지니어

의미 / 영향

데이터베이스 패치로 인한 성능 저하를 아키텍처 수준에서 해결함으로써 엔터프라이즈급 가용성을 보장한다. 특히 읽기 집약적인 워크로드에서 재시작 후 발생하는 서비스 지연 문제를 획기적으로 개선할 수 있다.

섹션별 상세

데이터베이스 재시작 시 메모리 내 버퍼 캐시가 사라지면 스토리지에서 데이터를 다시 읽어오는 동안 성능이 급격히 떨어진다. Lakebase 내부 테스트에서 pgbench TPS가 약 70% 감소하는 현상이 확인되었으며, 이는 고부하 상황에서 타임아웃과 가용성 저하를 초래한다. 캐시 히트율이 낮은 초기 몇 분간의 성능 공백은 실시간 서비스 운영에 큰 병목이 된다.

Lakebase 아키텍처는 컴퓨트 노드와 스토리지를 분리하여 새로운 컴퓨트 노드를 필요에 따라 즉시 생성할 수 있는 유연성을 제공한다. 계획된 유지보수 시 제어 평면은 기존 프라이머리에 영향을 주지 않고 백그라운드에서 새로운 Postgres 인스턴스를 실행한다. 사용자는 추가 비용 없이 새로운 노드가 준비되는 동안 기존 서비스를 중단 없이 이용할 수 있다.

새로운 노드는 기존 프라이머리의 캐시 페이지 목록을 전달받아 공유 스토리지 계층에서 필요한 데이터를 직접 로드한다. 또한 Safekeepers로부터 WAL 스트림을 구독하여 캐시 데이터를 최신 상태로 유지하며, 캐시와 무관한 로그는 무시하여 처리 효율을 높인다. 이 과정은 프라이머리 노드의 리소스를 점유하지 않으면서도 완벽하게 준비된 캐시 상태를 구축한다.

캐시 준비가 완료되면 기존 노드를 종료하고 pg_promote를 통해 새 노드를 프라이머리로 승격시켜 서비스를 즉시 전환한다. 10GB pgbench 벤치마크 결과, Prewarming을 적용하지 않은 경우보다 읽기 전용 워크로드에서 처리량 회복 속도가 압도적으로 빨랐다. 이 기술은 현재 모든 읽기/쓰기 엔드포인트에 적용되어 있으며 향후 읽기 전용 엔드포인트로 확대될 예정이다.

읽기 전용 워크로드에서 Prewarming 적용 여부에 따른 TPS 변화 그래프 — Chart재시작 직후 Prewarming이 없는 경우 TPS가 급감했다가 서서히 회복되는 반면, Prewarming을 적용한 경우 즉시 이전 수준의 처리량을 회복함을 보여준다. 이는 캐시 프리워밍이 읽기 성능 유지에 결정적인 역할을 함을 입증한다.

읽기-쓰기 워크로드에서 Prewarming 적용 여부에 따른 TPS 변화 그래프 — Chart단순 업데이트 워크로드에서도 Prewarming을 적용했을 때 재시작 후 성능 회복 속도가 훨씬 빠름을 나타낸다. 읽기 전용보다는 차이가 적지만 여전히 유의미한 성능 방어 효과가 있음을 확인할 수 있다.

실무 Takeaway

PostgreSQL 운영 시 pg_prewarm 같은 사후 조치보다 Lakebase처럼 백그라운드 노드에서 캐시를 미리 채우는 아키텍처 설계가 성능 유지에 더 효과적이다.
공유 스토리지와 컴퓨트 분리 구조를 활용하면 프라이머리 노드의 리소스를 소모하지 않고도 WAL 스트림을 통해 복제본의 캐시를 최신화할 수 있다.
10GB pgbench 벤치마크 결과, Prewarming 적용 시 읽기 전용 워크로드에서 재시작 직후 처리량이 즉시 회복되는 효과가 입증되었다.