Vera 기반 BlueField‑4 STX의 스토리지 전처리 가속

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

NVIDIA의 Vera 기반 BlueField‑4 STX Storage Processor는 Olympus 코어, SCF 패브릭, SOCAMM2 LPDDR5X 메모리를 결합해 스토리지 전처리 연산의 CPU 처리량을 크게 끌어올린다. 메모리 상주 마이크로벤치마크에서 AES-128 암호화 최대 1.43배, Reed‑Solomon 복구 최대 3.26배, CRC32C 최대 3.67배, 압축 최대 3.29배, 다단계 압축→암호화 파이프라인 최대 3.21배의 우위를 보였다. 이러한 이득은 동시 에이전트 흐름이 많은 에이전틱 AI 환경에서 쓰기·읽기 지연을 낮추고 전력·코어 예산 내에서 더 많은 데이터 서비스를 제공할 수 있게 한다.

빠른 이해

새로운 점

동일 Vera 아키텍처로 호스트 CPU와 스토리지 처리기를 모두 가속해 에이전틱 워크로드의 CPU 측 병목을 줄이는 점.

핵심 메커니즘

높은 단일 스레드 처리 능력을 갖춘 Olympus 코어와 SCF의 고대역폭 캐시·메모리 경로 및 SOCAMM2 LPDDR5X의 코어당 메모리 대역폭이 결합되어 스토리지 원시 연산(암호화·무결성 검사·압축·복구)을 병렬 스트리밍으로 유지하면서 각 단계의 지연을 줄인다.

핵심 수치

AES-128 암호화 처리량: up to 1.43x- Vera 대비 x86 메모리 상주 마이크로벤치마크
Reed‑Solomon 복구 처리량: up to 3.26x- 복구 워크로드에서 Vera vs x86
CRC32C 처리량: up to 3.67x- 무결성 검사 마이크로벤치마크
압축 처리량: up to 3.29x- Zstandard 기반 벤치마크에서 Vera vs x86
해제압축 처리량: up to 1.72x- 동시 스레드 환경에서 Vera 우위
다단계(압축→암호화) 파이프라인 처리량: up to 3.21x- 메모리 상주 파이프라인 전체 처리량 비교

섹션별 상세

에이전틱 AI에서 스토리지의 역할과 병목

대규모 에이전틱(agentic) AI는 검색, 키-값 캐시 재사용, 도구 호출, 출력 저장 등 반복적인 스토리지 작업을 빈번하게 발생시켜 스토리지 경로에서 압축·암호화·무결성 검사·복구 같은 CPU 측 전처리 과제가 늘어난다. 이들 작업은 읽기·쓰기 시점에 병렬로 수행되며 하나의 지연이 전체 데이터 흐름을 제약할 수 있어 스토리지 처리 성능과 예측 가능한 지연이 서비스 응답성에 직접 연결된다. 문서는 이러한 맥락에서 스토리지 전처리 성능이 SSD·네트워크의 잠재력을 실사용 수준으로 끌어내는 핵심 제약임을 데이터 중심 워크로드 관점에서 정량적 근거와 함께 제시한다.

Vera CPU 아키텍처 구성

Vera CPU는 Armv9.2 호환의 88개 Olympus CPU 코어와 176 스레드의 Spatial Multithreading, 통합 L3 164MB, Scalable Coherency Fabric(SCF)의 최대 3.4 TB/s bisection 대역, 그리고 SOCAMM2 LPDDR5X 메모리(집계 최대 1.2 TB/s 또는 코어당 최대 14 GB/s)를 결합해 설계되었다. 이 조합은 단일 스레드에서의 높은 명령 처리량과 시스템 전체에서의 예측 가능한 메모리·캐시 접근성을 동시에 만족시키는 구조로, 암호화·압축 같은 연산이 각 스트림에서 지연 없이 연속 처리되도록 메모리 공급을 유지하는 것이 핵심이다. 모듈형 교체 가능한 메모리 설계는 데이터센터 운영 요구를 충족하도록 전력 효율과 서비스 가능성을 균형시킨다.

마이크로벤치마크 설계와 비교 방식

벤치마크는 메모리 상주(workload in memory) 단일 프로세스 환경에서 OpenSSL, Zstandard, LZ4 등 널리 쓰이는 라이브러리와 최적화된 네이티브 구현을 사용해 암호화, 무결성 검사, 복구, 압축·해제 등 스토리지 원시 연산을 분리 측정했다. 파일 I/O·디스크·네트워크와 같은 외부 병목을 제외하고 버퍼 크기·스레드 수·CPU 배치·정확성 검증을 엄격히 통제해 프로세서 기여도를 고립시키는 방식으로 수행되며, 동일한 워크로드 정의와 소프트웨어 버전으로 Vera와 비교 대상 x86을 일관되게 비교했다. 이 방식은 시스템 전체 결과를 직접 대체하지는 않지만 CPU 측 한계와 여유(headroom)를 정량적으로 드러내어 저장소 설계상 병목 소스를 판단하는 근거를 제공한다.

암호화·복호화 처리 성능

AES-128 암호화는 쓰기 경로에서 실제 처리량 제약을 만들 수 있기 때문에 CPU 성능이 중요하다. 메모리 상주 AES-128 벤치마크에서 Vera는 비교된 x86 대비 암호화에서 최대 1.43배, 복호화에서 최대 1.29배의 처리량 우위를 보였다. 이러한 처리량 증가는 암호화가 병목인 환경에서 더 많은 데이터를 지연 없이 보호하고, 복호화 대기 시간을 줄여 에이전틱 워크플로가 GPU나 애플리케이션에 필요한 컨텍스트를 더 빠르게 반환할 수 있게 한다.

근거

Vera는 AES-128 암호화에서 x86 대비 최대 1.43배, 복호화에서 최대 1.29배의 처리량을 낸다. — Figure 1 및 Figure 2에 기재된 메모리 상주 AES-128 벤치마크 결과

무결성 검사와 복구 연산

데이터 손상 검출과 복구는 서로 보완적인 역할을 하며, CRC32C는 무결성 검출을, Reed‑Solomon은 손상 또는 손실된 조각 복구를 담당한다. 문서의 벤치마크에서 Vera는 CRC32C 처리량에서 최대 3.67배, Reed‑Solomon 복구 워크로드에서 최대 3.26배의 우위를 기록해 무결성 검사와 복구 시 CPU 측 병목을 크게 낮출 수 있음을 나타냈다. 이 수준의 향상은 장애 발생 시 재구성 시간을 단축하고, 정상 서비스와의 리소스 경쟁을 줄여 시스템 가용성과 복원력을 개선하는 효과로 연결된다.

근거

Vera는 Reed‑Solomon 복구 워크로드에서 x86 대비 최대 3.26배의 처리량 우위를 보인다. — Figure 3의 Reed‑Solomon 복구 벤치마크 결과
Vera는 CRC32C 무결성 검사에서 x86 대비 최대 3.67배의 처리량을 낸다. — Figure 4의 CRC32C 무결성 검사 벤치마크 결과

압축·해제압축 처리와 동시성 특성

에이전틱 AI에서 컨텍스트·로그·체크포인트 등 데이터 볼륨이 증가하므로 압축은 저장 용량과 전송 대역폭 부담을 줄이는 수단이 된다. 벤치마크 결과 Vera는 압축 처리에서 최대 3.29배, 동시성 하에서의 해제압축에서는 최대 1.72배의 처리량 우위를 유지했으며, 스레드 수가 늘어날수록 Vera의 이점이 지속되는 경향이 관찰되었다. 압축·해제압축 성능이 높아지면 동일한 CPU 리소스로 더 많은 데이터를 줄이고 복원할 수 있어 용량 효율과 응답성 측면의 전체 시스템 비용이 절감된다.

근거

Vera는 압축 처리에서 최대 3.29배, 해제압축에서 최대 1.72배의 처리량 우위를 유지한다. — Figure 5와 Figure 6의 압축·해제압축 벤치마크 결과

다단계 쓰기 파이프라인과 시스템 영향

실제 저장소 경로는 압축→암호화처럼 여러 연산을 연속으로 적용하는 파이프라인을 구성하는 경우가 많으므로 개별 연산의 합산 비용이 중요하다. 메모리 상주 파이프라인(압축 후 암호화) 측정에서 Vera는 비교 대상 x86 대비 최대 3.21배의 총 처리량을 기록해 다단계 처리에서의 이점이 개별 연산의 합을 넘어선다는 점을 시사한다. 결과적으로 스토리지 플랫폼은 동일한 전력·코어 예산으로 더 많은 동시 세션과 데이터 흐름을 지원할 수 있으며, 전력당 처리량 관점에서도 유리해져 데이터센터 운영 비용과 쿨링 부담을 줄일 수 있다.

근거

압축 후 암호화를 연속 실행하는 다단계 파이프라인에서 Vera는 최대 3.21배의 총 처리량을 달성한다. — Figure 7의 메모리 상주 압축→암호화 파이프라인 측정

에이전트 실행과 스토리지 처리의 통합적 확장성

Vera는 Rubin GPU의 호스트 CPU와 BlueField‑4 STX의 스토리지 처리 CPU라는 두 가지 역할에서 같은 아키텍처와 소프트웨어 도구체인을 사용함으로써 에이전트 실행과 스토리지 전처리를 동일한 기반에서 확장하도록 설계되었다. 문서는 standalone Vera가 에이전틱 도구에서 코어당 최대 1.8배 성능을 낸다는 측정값과 함께, 스토리지 전처리 성능 향상이 동시성·서비스 밀도 향상으로 이어진다는 근거를 제시한다. 통합 아키텍처는 운영 일관성을 제공해 소프트웨어 최적화와 배포의 일관된 확장을 가능하게 한다.

용어 해설

리드-솔로몬 부호(Reed‑Solomon): — 리드-솔로몬 부호는 블록 단위의 데이터 손실을 보완하는 erasure coding 기법으로, 원본 데이터 조각과 추가한 패리티 조각을 조합해 손상 또는 손실된 블록을 복구한다. 저장장치 장애 시 재구성(recovery) 비용과 대역폭 요구가 중요한 환경에서 복구 성능이 시스템 복구 시간과 서비스 연속성에 직접적인 영향을 미친다.
CRC32C 체크섬(CRC32C): — CRC32C는 저장 및 전송 중 발생한 우연한 데이터 손상을 검출하는 32비트 순환 중복 검사 방식으로, 읽기·쓰기 경로에서 빠른 무결성 검증을 위해 널리 사용된다. 대용량 데이터 흐름에서는 CRC 계산 처리량이 전체 응답성과 스토리지 대역폭 사용률에 영향을 준다.
SOCAMM2 LPDDR5X 메모리(SOCAMM2 LPDDR5X): — SOCAMM2는 교체 가능한 LPDDR5X 기반 메모리 모듈 규격으로, 데이터센터에서 낮은 전력으로 높은 대역폭을 제공하면서 서비스 가능성과 신뢰성을 유지하도록 설계되었다. 높은 집적 I/O 워크로드에서 코어당 메모리 대역폭을 확보해 스레드 간 간섭을 줄이는 역할을 한다.
Scalable Coherency Fabric(Scalable Coherency Fabric (SCF)): — SCF는 다수의 코어, 공유 캐시, 메모리 컨트롤러, I/O를 단일 칩 내에서 일관된 캐시·메모리 접근 경로로 연결하는 고대역폭 코히어런시 패브릭이다. 높은 bisection 대역폭(문서상 최대 3.4 TB/s)과 통합 L3 캐시(164 MB)를 통해 대규모 동시 스트리밍 워크로드에서 예측 가능한 데이터 접근성을 유지한다.
Spatial Multithreading: — Spatial Multithreading은 하나의 물리적 칩에서 다수의 스레드를 동시 실행해 처리량을 높이는 기법으로, Vera에서는 88코어에 대해 176스레드를 지원해 제어 중심 코드와 데이터 중심 코드가 섞인 스토리지 연산에서 코어 활용률을 끌어올린다. 스레드 간 간섭을 줄이는 아키텍처 특성이 고동시성 환경에서 중요하다.

기술

AES-128
Reed-Solomon
CRC32C
OpenSSL
Zstandard
LZ4
SOCAMM2 LPDDR5X
Scalable Coherency Fabric (SCF)
Olympus CPU cores
BlueField-4 STX

언급된 리소스

문서원문 링크