Claude Code를 위한 멀티 포맷 LLM 프록시 Rosetta LLM 공개

대체로 긍정적이며, 특히 LiteLLM의 느린 업데이트에 지친 사용자들이 추론 블록 지원 기능에 큰 관심을 보였다.

• Claude Code에서 GPT-4o나 Llama 3 등을 테스트하고 싶다면 ANTHROPIC_BASE_URL을 Rosetta LLM 주소로 설정하여 사용하라.
• 보안을 위해 Hugging Face Space에 배포할 때는 반드시 Private 모드로 설정하고 API 키를 Secret으로 관리하라.

Thinking Block

— LLM이 최종 답변을 생성하기 전 내부적으로 수행하는 추론 과정을 담은 텍스트 블록이다. Claude Code와 같은 에이전트 도구에서 모델 간 형식을 변환할 때 이 데이터가 손실되면 문맥 유지와 프롬프트 캐싱 효율이 급격히 저하된다.

Prompt Caching

— 자주 사용되거나 반복되는 프롬프트 컨텍스트를 서버 측에 저장하여 재사용하는 기술이다. API 호출 시 동일한 컨텍스트에 대한 연산 비용을 줄이고 응답 속도를 높이는 데 필수적이다.

Server-Sent Events (SSE)

— 서버가 클라이언트로 실시간 데이터를 스트리밍할 수 있게 하는 웹 기술이다. LLM 응답을 한꺼번에 보내지 않고 생성되는 즉시 한 글자씩 전달하는 스트리밍 인터페이스 구현에 사용된다.