Claude Code의 '임기응변' 코딩 문제를 해결하는 스킬 라우팅 레이어 Upskill 공개

커뮤니티 반응

대체로 매우 긍정적이며, 에이전트가 '바퀴를 재발명'하는 고질적인 문제를 해결할 수 있는 실용적인 접근법이라는 평가가 많습니다.

주요 논점

01찬성다수

에이전트가 모든 지식을 모델 내부에 보유할 필요 없이 최신 가이드를 검색하여 따르게 하는 것이 훨씬 효율적이다

합의점 vs 논쟁점

합의점

에이전트가 표준 라이브러리나 보안 절차를 무시하고 코드를 작성하는 현상은 실무에서 큰 방해 요소이다
검색 기반의 컨텍스트 주입이 에이전트의 성능을 일관되게 유지하는 핵심 방법론이다

논쟁점

로컬 환경 변수 이름을 감지하는 기능에 대한 프라이버시 우려와 이에 대한 옵트인(Opt-in) 방식의 적절성

실용적 조언

Claude Code 사용 시 CLAUDE.md 설정에 upskill find 명령어를 추가하여 에이전트가 작업을 시작하기 전 항상 최적의 가이드를 검색하도록 강제할 수 있다
보안이 중요한 프로젝트라면 upskill의 적대적 검토 기능을 활용해 검증된 스킬만 에이전트가 사용하도록 제한하라

섹션별 상세

AI 에이전트가 작업을 수행할 때 기존의 최적화된 플레이북을 무시하고 임의로 코드를 작성하는 문제를 지적했다. 사용자가 20분 동안 1,000토큰을 소모하며 에이전트의 시행착오를 지켜보는 대신, Anthropic이나 Stripe 등이 제공하는 검증된 가이드를 즉시 참조하게 함으로써 효율성을 높였다. 이는 에이전트의 지식 한계를 외부의 신뢰할 수 있는 데이터 소스로 보완하는 접근 방식이다.

검색 엔진은 Postgres 전체 텍스트 검색과 1024차원 벡터 임베딩을 결합한 하이브리드 방식을 채택했다. 단순 벡터 검색이 놓치기 쉬운 구체적인 API 플래그나 명칭을 키워드 검색으로 보완하고, 키워드가 일치하지 않는 의도는 벡터 검색으로 파악하여 정확도를 높였다. 또한 스타 수, 설치 수, 커뮤니티 피드백을 기반으로 검색 결과를 재순위화하여 품질을 보장했다.

Upskill 도구가 터미널에서 다양한 기술 스킬을 검색하고 점수화하여 보여주는 실행 화면 — Screenshot에이전트가 'upskill find' 명령을 통해 프론트엔드 디자인, 결제 연동, 이메일 분류 등 구체적인 작업에 대한 최적의 플레이북을 찾는 과정을 보여준다. 각 결과에는 텍스트 유사도, 벡터 유사도, 설치 수 등을 종합한 점수가 표시되어 하이브리드 검색의 작동 방식을 증명한다.

보안을 위해 인덱싱되는 모든 스킬에 대해 LLM 기반의 적대적 검토를 수행한다. 프롬프트 인젝션, 자격 증명 탈취, 오타 스쿼팅 등 1만 개 이상의 스킬 중 수백 개의 잠재적 공격 시도를 차단했음을 밝혔다. 특히 'skip tests'와 같은 악성 지시문이나 숨겨진 XSS 공격 코드를 탐지하여 에이전트가 안전하지 않은 가이드를 따르지 않도록 설계했다.

bash

npm install -g /upskill
upskill install
npx -y skills add Autoloops/upskill/skill

upskill 도구를 설치하고 에이전트에 연결하는 명령어

사용자의 로컬 환경 변수를 감지하여 검색 결과의 우선순위를 조정하는 지능형 랭킹 기능을 포함했다. 예를 들어 로컬에 AWS 액세스 키가 있으면 AWS 관련 스킬을 상단에 배치하고, Stripe 키가 있으면 해당 워크플로우를 우선 추천한다. 이때 환경 변수의 값은 외부로 유출되지 않으며 변수명만 사용하여 프라이버시를 보호하도록 구성했다.

용어 해설

하이브리드 검색(Hybrid Search): — 키워드 기반의 전체 텍스트 검색(FTS)과 의미 기반의 벡터 검색을 결합한 방식입니다. 정확한 API 명칭이나 플래그를 찾는 정밀도와 사용자의 의도를 파악하는 재현율을 동시에 확보하여 검색 품질을 극대화합니다.
적대적 검토(Adversarial Review): — 시스템의 취약점을 찾기 위해 공격자의 관점에서 모델이나 데이터를 검증하는 프로세스입니다. 이 도구에서는 프롬프트 인젝션이나 악성 코드 주입 등을 사전에 차단하기 위해 모든 스킬 인덱싱 시 LLM을 통한 적대적 검토를 수행합니다.
벡터 임베딩(Vector Embedding): — 텍스트와 같은 데이터를 고차원 공간의 수치 벡터로 변환하여 의미적 유사성을 계산할 수 있게 하는 기술입니다. 1024차원 벡터를 사용하여 사용자의 자연어 쿼리와 가장 유사한 기술 가이드를 찾아내는 데 활용됩니다.

언급된 도구

upskill추천링크

AI 에이전트용 기술 스킬 및 플레이북 라우팅 레이어

Claude Code중립

Anthropic의 CLI 기반 코딩 에이전트

언급된 리소스

GitHubUpskill GitHub Repository