챕터별 상세
구조화된 출력의 중요성과 에이전트 AI
LLM이 단순한 챗봇을 넘어 에이전트로 진화함에 따라 외부 도구 및 API와의 연동이 핵심 기능으로 부상했다. 이를 위해 LLM은 JSON, HTML, 코드와 같이 기계가 처리 가능한 Structured Data를 정확하게 생성해야 한다. 하지만 현재 모델들은 복잡한 중첩 구조나 엄격한 제약 조건이 포함된 스키마에서 파싱 오류를 빈번하게 발생시키며 이는 전체 에이전트 워크플로우의 중단으로 이어진다. 따라서 자연어 생성 능력을 넘어 구조적 논리를 유지하며 실행 가능한 형태의 결과물을 만드는 고차원적 능력이 요구된다.
Schema Reinforcement Learning (SRL) 프레임워크
기존의 지도 미세 조정(SFT) 방식은 복잡한 JSON 생성 학습에 한계가 있어 이를 극복하기 위해 Schema Reinforcement Learning(SRL)이 제안되었다. SRL은 JSON Schema Validator를 보상 함수(Reward Function)로 활용하여 모델이 생성한 결과물의 유효성을 실시간으로 피드백한다. 특히 Thought of Structure(TOS) 기법을 도입하여 모델이 데이터를 생성하기 전 구조적 설계를 먼저 수행하도록 유도한다. 학습 과정은 샘플링, 보상 계산, PPO 알고리즘을 이용한 정책 업데이트 순으로 진행되며 부분 점수 시스템을 통해 학습 효율을 극대화했다.
SRL 실험 결과 및 성능 분석
Llama 3.2 3B 모델에 SRL을 적용한 결과, 복잡한 스키마 준수 성능이 기존 28.51%에서 72.50%로 비약적으로 향상되었다. 이는 GPT-4o와 같은 상용 모델의 성능(61.06%)을 상회하는 수치이다. 특히 특수 문자 처리(Escape)나 사용자 정의 형식 준수 등 까다로운 태스크에서 강점을 보였다. 또한 다운스트림 태스크인 도구 호출(Tool Calling) 벤치마크에서도 SRL 학습 모델이 SFT 모델보다 월등히 높은 정확도를 기록하며 실무 적용 가능성을 입증했다. 소규모 모델임에도 불구하고 구조적 학습을 통해 대형 모델에 필적하는 능력을 확보했다.
StructEval: 구조화된 출력 종합 벤치마크
LLM의 구조적 출력 능력을 정밀하게 평가하기 위해 StructEval 벤치마크가 설계되었다. 이는 텍스트 기반의 StructEval-T와 시각적 렌더링을 포함하는 StructEval-V로 구성된다. 총 18개의 출력 형식과 44개의 작업 유형을 포함하며 단순 텍스트 일치도가 아닌 구문 점수(Syntax Score), 키워드 점수(Keyword Score), 시각적 점수(VQA Score)를 결합하여 평가한다. 특히 중첩된 계층 구조 내에서 특정 데이터가 정확한 위치(Path)에 존재하는지 검증하는 방식은 기존 평가 체계보다 훨씬 엄격하고 실질적이다. 실험 결과 상용 모델인 GPT-4o가 가장 우수한 성능을 보였으나 오픈소스 모델들과의 격차가 존재함이 확인되었다.
결론 및 실무적 시사점
에이전트 AI의 성공은 LLM이 얼마나 정확하게 구조화된 데이터를 생성하느냐에 달려 있다. SRL과 같은 강화학습 기법은 모델이 엄격한 문법 규칙과 계층 구조를 동시에 준수하도록 훈련시키는 데 매우 효과적이다. 또한 StructEval과 같은 정밀한 평가 도구는 모델의 약점을 파악하고 개선 방향을 설정하는 데 필수적이다. 실무적으로는 모델이 생성한 결과물을 단순히 파싱하는 데 그치지 않고, 학습 단계에서부터 구조적 제약 조건을 내재화시키는 것이 에이전트의 신뢰성을 확보하는 가장 확실한 방법이다.
용어 해설
- 구조화된 출력(Structured Output)
- — JSON, HTML, 코드와 같이 기계가 즉시 파싱하고 실행할 수 있는 정해진 규격의 데이터 형식이다. LLM이 외부 API를 호출하거나 도구를 사용하는 에이전트 역할을 수행할 때 필수적인 인터페이스 역할을 하며 시스템 간의 정확한 정보 교환을 가능하게 한다.
- 스키마(Schema)
- — 데이터의 구조, 제약 조건, 타입 등을 정의한 명세서이다. JSON Schema 등이 대표적이며 LLM이 생성해야 할 데이터의 필드명, 데이터 타입, 필수 여부 등을 규정하여 출력의 유효성을 검증하는 기준이 된다.
- 근사 정책 최적화(PPO)
- — 강화학습에서 정책을 안정적으로 업데이트하기 위해 사용하는 알고리즘이다. SRL 프레임워크에서 LLM이 생성한 구조화된 데이터의 보상 점수를 바탕으로 모델의 파라미터를 최적화하여 스키마 준수 능력을 향상시키는 데 사용된다.
- 구조적 사고(Thought of Structure)
- — Chain-of-Thought 개념을 구조화된 데이터 생성에 적용한 기법이다. LLM이 최종 JSON을 생성하기 전에 데이터의 논리적 구조와 필드 간 관계를 먼저 텍스트로 서술하게 함으로써 복잡한 중첩 구조 생성의 정확도를 높인다.
- 시각적 질의응답 점수(VQA Score)
- — StructEval 벤치마크에서 시각적 렌더링 결과물의 정확도를 측정하는 지표이다. LLM이 생성한 코드(HTML, SVG 등)를 실제로 렌더링한 후 VLM을 통해 시각적 요구사항(색상, 위치 등)이 충실히 반영되었는지 검증한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 23.수집 2026. 02. 23.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
