온프렘 환경에서 비용과 지연을 줄이는 llm-d의 다중 벤더 GPU 활용
온프렘 환경에서 llm-d가 다중 벤더 GPU를 효율적으로 배치해 처리량을 높이고 비용을 절감하며, 프리필-디코딩 분리로 각 단계의 최적화를 가능하게 한다.
IBM 연구소의 공식 블로그로, 인공지능, 양자 컴퓨팅, 하이브리드 클라우드 분야의 최신 연구 성과와 기술 혁신 소식을 제공합니다.
온프렘 환경에서 llm-d가 다중 벤더 GPU를 효율적으로 배치해 처리량을 높이고 비용을 절감하며, 프리필-디코딩 분리로 각 단계의 최적화를 가능하게 한다.
IBM 연구진이 LLM과 진화형 AI를 결합하여 양자 오류 수정 코드를 자동으로 탐색하고 검증하는 오픈소스 프레임워크 OpenEvolve를 공개했다.
IBM이 AI 모델을 소프트웨어처럼 모듈화하여 재사용 가능한 어댑터로 최적화하는 '생성형 컴퓨팅' 접근 방식과 Granite 4.1 모델군을 공개했다.
IBM 리서치가 삼성, NVIDIA와 협력하여 1,000억 개의 벡터를 단일 서버에서 90% 이상의 정밀도로 처리하는 콘텐츠 인식 스토리지(CAS) 기술을 발표했다.