Comet ML Blog

에이전트 하니스는 재시도 로직과 런타임 시스템 프롬프트 조립 등 LLM 기능의 운영적 구성요소를 포괄하는 계층이다.

에이전트에 가해진 모든 변경을 측정 가능한 실험으로 전환해 배포 전후 성능 회귀를 탐지해야 한다는 실무적 권고이다.

테스트 스위트를 도입해 레퍼런스 데이터셋·지표·LLM 판정 프롬프트 작업을 자동화하면 배포 전 에이전트 실패를 조기에 탐지할 수 있다.

Claude Code의 세션 시작 시 발생하는 MCP 서버와 컨텍스트 오버헤드를 식별하고, Opik을 통해 조직 단위로 비용을 관리하여 최대 40%까지 절감하는 전략.

멀티 에이전트 시스템의 복잡한 조정 오류와 자율적 행동 변화를 디버깅하기 위한 구조적 추적 및 관측 가능성 확보 전략을 제시합니다.

에이전트 시스템의 복잡한 실행 경로에서 발생하는 LLM 비용을 Opik의 추적 및 평가 기능을 통해 가시화하고 최적화하는 방법.

Opik이 출시한 Agent Playground는 UI에서 프롬프트와 모델 설정을 실시간으로 수정·테스트하고 코드 변경 없이 즉시 배포할 수 있는 기능을 제공합니다.

Opik은 AI 에이전트 개발의 복잡성을 해결하기 위해 관측 가능성과 자동화된 수정을 결합한 코딩 어시스턴트 Ollie를 출시했습니다.

Comet ML의 Opik이 모호한 수치 중심의 AI 평가 대신 소프트웨어 공학의 회귀 테스트와 어설션 방식을 도입한 Test Suites 기능을 출시했습니다.

npm의 핵심 라이브러리 Axios(1.14.1)에서 발견된 Remote Access Trojan(RAT) Supply Chain Attack의 상세 분석과 대응 방안을 제시했다.

이미지, 오디오 등 멀티모달 입력을 처리하는 LLM의 한계를 극복하기 위한 추적, 평가 및 최적화 워크플로우와 산업별 실무 적용 사례를 제시한다.

AI 에이전트의 복잡한 순차적 의사결정 과정을 평가하기 위해 단순 결과 측정을 넘어 실행 트레이스 기반의 프로세스 평가와 체계적인 관측 인프라 구축 방안을 제시한다.

Opik은 OpenClaw 에이전트 관측성 플러그인, 프롬프트 최적화 비교 도구, 사용자 정의 대시보드를 출시하여 AI 개발 전반의 가시성을 높였다.

인기 LLM 게이트웨이 라이브러리 LiteLLM의 악성 버전(1.82.7, 1.82.8) 배포로 인한 광범위한 자격 증명 탈취 공격의 기술적 메커니즘과 긴급 대응 방안을 상세히 분석합니다.

오픈소스 에이전트 프레임워크 OpenClaw를 위한 Opik 네이티브 플러그인이 출시되어, 에이전트의 추론 과정, 비용, 성능을 실시간으로 모니터링할 수 있게 되었습니다.

파운데이션 모델의 고정된 가중치 대신 온도, Top_p 등 추론 파라미터를 베이지안 최적화로 정밀 튜닝하여 에이전트의 정확도와 비용 효율성을 개선하는 전략을 제시한다.

Opik은 프롬프트 최적화를 자동화하는 Optimization Studio를 출시하고 대시보드 위젯과 SDK 기능을 강화하여 AI 에이전트의 평가 및 실험 워크플로우를 고도화했다.

AI IDE 에이전트의 설정을 중앙화하고 규칙을 스킬 단위로 세분화하여 불필요한 컨텍스트 비용을 21% 절감한 Comet 팀의 사례를 다룬다.

Comet의 Opik이 Gartner 마켓 가이드에 등재되었으며, AI 애플리케이션의 비결정성을 해결하기 위한 평가 및 관측성 도구의 중요성을 강조한다.

Comet의 Opik 플랫폼을 통해 프롬프트, 도구 정의, 아키텍처를 자동으로 개선하여 AI 에이전트 개발의 수동 시행착오를 데이터 기반 최적화 루프로 대체하는 방법론을 제시한다.

수치적 점수 대신 자연어 피드백을 활용해 적은 데이터로도 LLM 프롬프트를 정교하게 최적화하는 프롬프트 러닝 기법과 실무 적용 인프라를 다룬다.

RAG의 기원부터 인덱싱 전략, 하이브리드 검색, 그래프 기반 검색 및 관측성 평가 지표까지 고성능 LLM 애플리케이션 구축을 위한 전 과정을 상세히 다룬다.