Claude 구독료와 제한에 지쳐 직접 만든 무료 3계층 앙상블 AI 에이전트 J.A.R.V.I.S.

15세 개발자의 프로젝트라는 점에 놀라움을 표하며, 무료 API를 활용한 앙상블 접근 방식에 대해 긍정적인 반응을 보이고 있습니다.

• Claude나 GPT-4의 사용량 제한이 부담된다면 Groq나 NVIDIA NIM의 무료 API 키를 발급받아 앙상블 시스템을 구축해 볼 것
• 복잡한 로직 검증이 필요할 때는 하나의 모델에 의존하지 말고 여러 모델에게 서로의 결과물을 비판하게 하는 워크플로우를 적용할 것

Ensemble Protocol

— 여러 개의 서로 다른 AI 모델을 결합하여 하나의 모델을 사용할 때보다 더 정확하고 신뢰할 수 있는 결과를 도출하는 기법이다. 이 프로젝트에서는 10개 이상의 모델이 계획, 비판, 합성을 분담하여 복잡한 논리 문제를 해결한다.

Context Rot

— 대규모 언어 모델이 긴 대화나 방대한 코드 베이스를 처리할 때, 이전의 중요한 정보를 잊거나 논리적 일관성을 잃어버리는 현상을 의미한다. 이를 방지하기 위해 재귀적 토론과 다중 맵 시스템을 활용한다.

Recursive Debate

— 생성된 결과물에 대해 다른 모델들이 반복적으로 비판하고 검증하여 오류를 찾아내는 과정이다. 모델 간의 논리적 충돌을 통해 최종 답변의 품질을 높이고 할루시네이션을 최소화하는 역할을 한다.