AI21 Labs

모델 라우팅을 단순 분류 문제로 접근하면 KV 캐시 파괴와 비용 증가를 초래하며, 이를 강화학습 기반의 에이전트 문제로 해결해야 한다.

DeepLearning.AI의 Ryan Keenan이 기존 온라인 강의의 한계를 지적하며, AI 음성 에이전트와 대화형 인터페이스를 활용한 새로운 개인화 학습 플랫폼 'CodeDream'을 소개한다.

LLM 모델 자체보다 이를 둘러싼 시스템 아키텍처인 Harness Engineering의 정의와 에이전트 상용화를 위한 구체적인 설계 전략을 다룹니다.

RAG 시스템에서 단일 청크 크기의 한계를 극복하기 위해 데이터를 여러 크기로 중복 인덱싱하고 RRF로 결합하여 검색 성능을 혁신적으로 개선하는 멀티 윈도우 청킹 기법을 다룹니다.

파운데이션 모델의 범용화 속에서 Imagen AI가 개인화된 피드백 루프와 '코만도 스쿼드'를 통한 초고속 프로토타이핑으로 독보적인 경쟁력을 구축한 전략을 다룹니다.

AI21 Maestro는 멀티스텝 계획, 자동 추론 스케일링, 고급 RAG 및 내장 검증 기능을 결합하여 기업용 AI 에이전트의 정확도와 신뢰성을 보장하는 오케스트레이션 시스템이다.

AI21 Maestro의 Vibe Agent는 일상적인 자연어 설명을 바탕으로 에이전트의 목적 정의, 도구 선택, 모델 최적화 과정을 실시간으로 수행하여 AI 에이전트를 자동 생성한다.

AWS의 금융 전문가 Renee Lau가 금융권의 GenAI 도입 현황, 비용 절감 및 수익 창출 유즈케이스, 그리고 단계별 배포 전략을 공유한다.

Ray와 vLLM을 결합하여 CPU 전처리와 GPU 추론 워크로드를 오케스트레이션함으로써 대규모 LLM 배치 처리를 최적화하고 비용을 절감하는 실전 아키텍처를 소개합니다.

vLLM의 PagedAttention과 연속 배칭 기술을 통해 GPU 메모리 효율을 극대화하고 대규모 모델인 Jamba를 최적화하여 서빙하는 방법을 다룹니다.

분산 컴퓨팅 프레임워크 Ray의 탄생 배경부터 데이터 전처리, 학습, 추론 및 에이전트 구축까지 AI 파이프라인 전반에서의 활용법과 실무적 이점을 다룹니다.

Tavily가 딥 리서치 에이전트 구축 과정에서 로그 분석과 컨텍스트 엔지니어링을 통해 토큰 소비를 65% 이상 절감하고 성능을 극대화한 실무 노하우를 공유합니다.

AI21의 CTO Barak Lenz가 리더보드 성적과 실제 사용자 경험 사이의 간극을 메우기 위한 검증, 컨텍스트화, 지연 시간, 분해라는 4가지 핵심 기술적 격차와 해결 방안을 제시한다.

에이전트 시스템에 테스트 타임 컴퓨팅 스케일링을 적용하여 비용 효율성과 성능을 동시에 잡는 AI21의 Maestro 프레임워크 전략을 다룬다.

MCP가 도구 호출을 표준화했지만 여러 에이전트가 동시에 상태를 변경할 때 발생하는 충돌 문제를 해결하기 위한 워크스페이스 격리 및 오케스트레이션 전략을 다룹니다.

에이전트가 기존의 요청-응답 패러다임을 어떻게 파괴하는지 분석하고, AGUI와 MCP 같은 새로운 프로토콜을 통해 사용자 경험을 혁신하는 방법을 제시한다.