본문으로 건너뛰기
RSS소스별 피드아티클 58

KT Cloud

kt cloud의 공식 기술 블로그로, 클라우드 인프라, AI 기술, 보안 거버넌스 및 최신 IT 트렌드에 대한 심도 있는 인사이트를 제공합니다.

관심 태그 추가

제한된 자원에서 추론 효율을 높이는 방법

TurboQuant로 KV 캐시를 극한 압축하고 Groq LPU·Ironwood TPU 같은 추론 전용 칩을 조합해 추론 병목을 해소하는 기술 전망 요약

MIG와 RDMA로 연결되는 NeoCloud와 80kW급 AIDC 인프라

NeoCloud는 MIG로 GPU를 하드웨어 수준에서 분할하고 RDMA로 노드 간 메모리를 직접 연결하며, AIDC는 40~80kW 랙 전력과 액체냉각·HVDC로 고밀도 AI 운영을 실현한다.

RoCEv2 전환을 위한 무손실 이더넷 설계와 혼잡 제어 전략

RoCEv2와 InfiniBand의 흐름 제어·혼잡 관리 차이를 중심으로 무손실 이더넷을 구현해 AI GPU 클러스터의 지연과 자원 낭비를 줄이는 엔지니어링 관점을 제시했다.

AI 인프라 경쟁의 본질은 GPU 보유량이 아닌 풀스택 최적화에 있다

AI 인프라의 핵심 경쟁력은 GPU, 네트워크, 스토리지, 오케스트레이션을 아우르는 풀스택 최적화 능력에 있다.

KT Cloud3달 전

AI 데이터센터가 기존 서버실과 다른 이유: 전력 변동과 액체 냉각의 시대

AI 데이터센터는 GPU의 동기화된 부하 패턴과 고밀도 발열 문제를 해결하기 위해 전력 품질 관리와 액체 냉각 기술을 도입해야 한다.

데이터센터의 새로운 일꾼, 피지컬 AI와 휴머노이드 도입 로드맵

피지컬 AI를 탑재한 휴머노이드를 데이터센터에 도입하여 고집적 환경의 운영 효율과 안전성을 단계적으로 확보하는 전략을 제시한다.

KT Cloud3달 전

H100급 성능을 내 책상 위에서? Dell GB10 워크스테이션 실사용 리뷰

NVIDIA Grace Blackwell 기반 Dell GB10 워크스테이션의 128GB 통합 메모리와 FP4 가속을 통한 Llama 3.3 70B 모델의 로컬 추론 성능 검증기입니다.

6년 만의 혁신! 쿠버네티스 v1.35, AI 학습 효율과 무중단 확장을 잡다

Kubernetes v1.35는 실행 중인 Pod의 리소스를 재시작 없이 변경하는 기능의 GA 전환과 AI 워크로드를 위한 Gang Scheduling 도입을 통해 운영 효율성을 극대화했다.

FastAPI의 한계를 넘다: Rust 기반 Robyn으로 AI 게이트웨이 성능 3배 향상

kt cloud가 AI 추론 엔진의 병목 해결을 위해 Rust 기반 Python 프레임워크인 Robyn을 도입하고 FastAPI 대비 압도적인 고부하 안정성을 확인했다.

AI 시대의 데이터센터, 왜 서울을 떠나 바다로 향해야 하는가?

수도권 전력 포화와 네트워크 지연 문제를 해결하기 위해 해저케이블 육양국 인근에 AI 데이터센터를 구축하는 '랜딩 에지' 전략의 필요성을 제시한다.

Claude Code를 팀의 기술 표준으로: AI 아키텍처 설계 가이드

AI를 단순한 대화 도구가 아닌 시스템 구성 요소로 재정의하여 팀 단위의 일관된 개발 프로세스를 구축하는 AI 아키텍처 설계 방식을 제안한다.