GLM-5.2와 Kimi K2.7 Code를 소형 에이전트 앱으로 비교 테스트한 후기

원문에는 댓글 집계가 포함되어 있지 않으나 작성자는 경험 공유와 코드 공개를 통해 추가 토론을 유도했으며 실험 방식(에이전트 기반 다단계 검증)과 수치 근거가 제시되어 다른 실무자들이 유사 실험을 재현하거나 의견을 교환하기에 적합한 출발점을 마련했다. 공개된 토큰·비용·시간 수치와 실패 횟수는 토론의 구체적 근거가 되어 반박·확인 요청이 가능한 논점들을 제공했다. 또한 메모리의 장점과 오염 위험을 함께 보고한 점은 실무적 피드백과 구현 팁 교환을 촉발할 가능성이 높다.

• 구현 속도와 코드 예측 가능성이 우선인 작업에서는 Kimi K2.7 Code를 우선적으로 사용하고 테스트는 작은 단위로 병렬화해 지연을 관리할 것을 권장한다.
• 디자인 감각과 다단계 계획이 중요한 경우 GLM-5.2를 역할 분담 역할로 배치하되 장기 실행에서의 결정 비용을 줄이기 위해 의사결정 포인트를 명확히 분리하고 작업을 분할하라.
• 메모리를 활용할 때는 저장 기준을 엄격히 정하고 저품질 엔트리를 주기적으로 정리하거나 필터링하는 정책을 적용해 향후 실행 오염을 방지해야 한다.

Agent Framework

— 에이전트 프레임워크는 여러 소규모 에이전트를 정의·오케스트레이션하여 복잡한 작업을 단계별로 처리하게 하는 소프트웨어 계층이다. 입력을 태스크로 받아 각 에이전트가 부분 작업을 수행하고 중앙 조정자가 결과를 통합하며 상태와 재시도를 관리하는 방식으로 동작한다. 이 글에서는 Pydantic Agent Framework와 Agno Agent Framework가 에이전트 생성, 로그 기록, 메모리 연동 용도로 사용되어 모델 비교의 실험 플랫폼 역할을 했다.

Memory Retrieval

— 메모리 검색은 이전 상호작용에서 추출한 컨텍스트를 저장하고 이후 요청에서 관련 항목을 검색해 연속성을 유지하는 방식이다. 저장된 항목은 제품 대상, 반복된 페인포인트, 거절된 앵글 같은 장기 문맥을 제공하며 에이전트가 매번 처음부터 추론하지 않도록 한다. 글에서는 Engram memory가 이러한 연속성을 제공했으나 질이 낮은 메모리는 이후 실행을 오염시킬 수 있음이 관찰되었다.

Repair Loop

— 리페어 루프는 모델이 스스로 산출물을 검토하고 실패한 경우 여러 차례 수정을 시도하게 하는 반복적 피드백 프로세스이다. 본 실험에서는 각 모델이 동일한 작업에 대해 세 번의 수리 시도를 허용하고 자체 리뷰를 통해 수정 결정을 내리게 했다. 리페어 루프는 단일 응답 성능과 다단계 작업 수행 능력 간 차이를 드러내는 주요 메커니즘으로 사용되었다.