에이전트가 사용자를 인터뷰하는 시대: Ben's Bites AI 뉴스레터

섹션별 상세

에이전트가 사용자를 인터뷰하여 컨텍스트를 확보하는 '인터뷰 패턴'이 효과적인 프롬프트 전략으로 부상하고 있다. 사용자가 모든 지침을 완벽하게 작성하는 대신, 에이전트에게 특정 과업을 위해 필요한 정보를 묻도록 명령하여 누락된 맥락을 보완한다. 실제 테스트에서 에이전트는 20개의 질문을 통해 사용자의 산만한 생각을 구조화된 코스 콘텐츠 맵으로 변환하는 데 성공했다. 이는 사용자의 초기 기획 부담을 줄이고 에이전트의 출력 품질을 높이는 실질적인 방법론이다.

text

I am writing a course on 'Becoming a builder'. ... I want you to interview me so we can flesh out the course content map ... Ask me one question at a time, I may disregard questions but I will say why I don't think its relevant.

에이전트가 사용자를 인터뷰하여 컨텍스트를 추출하도록 유도하는 프롬프트 예시

Claude Code와 Cursor 등 코딩 에이전트 도구들이 자율성과 인터페이스 측면에서 경쟁적으로 업데이트되고 있다. Claude Code는 이제 클라우드 기반 예약 작업과 컴퓨터 제어 기능을 지원하여 로컬 앱 실행까지 가능해졌으며, Cursor는 Kimi 2.5 기반의 Composer 2와 새로운 3단 레이아웃 'Glass'를 출시했다. 다만 Cursor가 자체 벤치마크 점수를 공개하면서 비교 대상을 한정하고 기반 모델을 명시하지 않아 커뮤니티의 비판을 받기도 했다. 이러한 도구의 진화는 개발자의 워크플로우를 단순 보조에서 자율 수행 단계로 격상시키고 있다.

T3 Code 인터페이스의 Claude 모델 선택 메뉴 — ScreenshotT3 Code 도구 내에서 Claude Opus 4.6 등 최신 모델을 직접 선택하여 사용할 수 있는 연동 기능을 보여줍니다. 코딩 에이전트 도구들이 최신 LLM과 빠르게 통합되고 있는 현황을 나타냅니다.

AssemblyAI의 연구에 따르면 기존의 단어 오류율(WER) 지표가 실제 AI 모델의 성능을 정확히 반영하지 못할 수 있음이 밝혀졌다. 인간 라벨러가 놓친 부분을 AI가 정확히 전사했음에도 불구하고, 표준 정답(Ground Truth)과 다르다는 이유로 WER 점수에서 불이익을 받는 사례가 확인됐다. 텍스트 정규화를 적용했을 때 오류율이 66.7%에서 0%로 급감하는 결과는 모델 평가 파이프라인의 개선이 시급함을 시사한다. 이는 다운스트림 AI 애플리케이션의 성능 측정을 위해 더 정교한 평가 지표가 필요함을 의미한다.

AssemblyAI의 WER 지표 오류 분석 차트 — Chart인간 라벨러의 실수로 인해 AI가 정확하게 전사했음에도 WER 점수가 66.7%로 낮게 측정되는 사례를 보여줍니다. 텍스트 정규화를 적용했을 때 오류율이 0%로 떨어지는 결과를 통해 기존 평가 방식의 한계를 시각적으로 증명합니다.

AI 산업 전반에 걸쳐 대규모 자본 투입과 하드웨어 인프라 확장이 가속화되고 있다. Jeff Bezos는 제조 기업 인수 및 AI 자동화를 위해 1,000억 달러 규모의 펀드 조성을 논의 중이며, XAI는 연간 1TW 규모의 칩 제조 시설인 'TERAFAB'을 런칭했다. 또한 Nous Research의 Hermes Agent는 스스로 파이프라인을 구축해 약 8만 단어 분량의 소설을 집필하며 창의적 영역에서의 에이전트 가능성을 입증했다. 이러한 움직임은 AI 기술이 소프트웨어를 넘어 제조와 창작 등 실물 경제 전반으로 확산되고 있음을 보여준다.

Hermes Agent가 집필한 소설 'The Second Son of the House of Bells' 표지 — PhotoAI 에이전트가 자율적으로 파이프라인을 구축하여 약 8만 단어 분량의 소설을 집필하고 조판까지 완료했음을 보여주는 결과물입니다. 이는 창의적 글쓰기 영역에서 에이전트의 자율적 수행 능력을 입증하는 사례로 제시되었습니다.

용어 해설

단어 오류율(WER): — 음성 인식(ASR) 시스템의 정확도를 측정하는 표준 지표로, 전체 단어 중 삽입, 삭제, 대체된 단어의 비율을 계산한다. 수치가 낮을수록 정확도가 높음을 의미하지만, 철자 변형이나 인간 라벨러의 실수로 인해 실제 성능보다 낮게 측정되는 한계가 존재한다.
텍스트 정규화(Text Normalization): — 다양한 형식의 텍스트를 표준화된 형태로 변환하는 과정으로, 대소문자 통합, 구두점 제거, 숫자 표기 통일 등을 포함한다. AI 모델 평가 시 사소한 표기 차이로 인한 오류 판정을 방지하고 실제 의미적 정확도를 측정하는 데 필수적이다.
세계 모델(World Model): — AI가 물리적 세계나 특정 환경의 작동 원리를 내부적으로 시뮬레이션하고 예측할 수 있도록 설계된 아키텍처이다. 단순한 데이터 패턴 학습을 넘어 인과 관계와 물리 법칙을 이해함으로써 더 높은 수준의 자율성과 추론 능력을 갖춘 에이전트 구현의 핵심 기술로 꼽힌다.
지상 검증 데이터(Ground Truth): — AI 모델의 예측 결과와 비교하기 위해 사람이 직접 작성하거나 검증한 실제 정답 데이터를 의미한다. 모델의 성능을 측정하는 절대적인 기준점이 되지만, 인간의 실수나 주관이 개입될 경우 모델의 실제 성능을 왜곡하여 평가할 위험이 있다.

기술

Claude Code
Cursor
AssemblyAI
Hermes Agent
T3 Code
Kimi 2.5

활용 사례

콘텐츠 기획 및 코스 맵 생성
자율 소프트웨어 개발 및 리팩터링
음성 인식 모델 성능 평가 최적화
AI 기반 소설 집필 및 타이포그래피

언급된 리소스

문서World Models: Computing the Uncomputable

GitHubSwiftUI Docs for Agents Repo

DemoAssemblyAI Live Workshop: Why WER breaks