SEC 공시 문서 분석 시 토큰 사용량을 85% 절감하는 내비게이션 맵 접근 방식

실용적 조언

Claude나 GPT를 사용하여 긴 문서를 분석할 때, 시스템 프롬프트에 목차를 먼저 확인하고 필요한 섹션만 요청하도록 지침을 업데이트하라.
SEC 데이터를 다룰 때는 원본 EDGAR HTML의 포맷팅을 보존하여 섹션을 나누는 것이 데이터 무결성 유지에 도움이 된다.

섹션별 상세

방대한 SEC 공시 문서(10-K 등)를 LLM에 그대로 입력할 경우 발생하는 비용과 성능 저하 문제를 지적했다. 대형 상장사의 10-K 문서는 80,000개 이상의 토큰을 소모하며, 불필요한 노이즈가 많을수록 모델이 수치를 오인하거나 할루시네이션을 일으킬 확률이 높아진다. 이를 해결하기 위해 전체 텍스트 대신 문서의 구조적 지도를 먼저 생성하는 방식을 제안했다.

문서를 논리적 섹션으로 분할하고 각 섹션을 원본 EDGAR HTML 링크와 연결하는 내비게이션 맵 기술을 구현했다. 에이전트는 먼저 생성된 목차(TOC)를 확인하고 질문 답변에 필요한 특정 노드(2~4개 문단)만 호출하여 데이터를 처리한다. 이 과정을 통해 실제 운영 환경에서 원본 전체를 읽을 때보다 토큰 사용량을 약 85% 절감하는 성과를 거두었다.

답변의 신뢰성을 확보하기 위해 각 텍스트 청크에 reader_url을 포함하여 출처를 즉시 검증할 수 있도록 설계했다. 기존 방식은 모델이 답변을 내놓아도 근거 위치를 찾기 어려웠으나, 이 시스템은 추출된 각 구절이 원본 공시 문서의 어느 행에서 왔는지 직접 링크를 제공한다. 현재 6,000개 이상의 미국 상장사 데이터를 지원하며 8-K 및 실적 발표 스크립트로 확장 중이다.

용어 해설

미국 증권거래위원회 공시 문서(SEC Filing): — 미국 상장 기업이 증권거래위원회(SEC)에 정기적으로 제출해야 하는 재무 및 사업 보고서이다. 10-K(연례 보고서), 10-Q(분기 보고서) 등이 포함되며, 분량이 매우 방대하여 LLM의 컨텍스트 윈도우를 대량으로 소모하는 원인이 된다.
토큰 절감(Token Reduction): — LLM 입력에 사용되는 데이터 단위인 토큰의 양을 줄이는 기법이다. 필요한 정보만 선별하여 입력함으로써 API 호출 비용을 낮추고 모델의 추론 속도와 정확도를 높이는 핵심적인 최적화 과정이다.
컨텍스트 윈도우(Context Window): — AI 모델이 한 번에 처리할 수 있는 텍스트 데이터의 최대 범위이다. 이 범위를 초과하는 데이터를 입력하면 이전 정보가 유실되거나 비용이 급격히 상승하며, 너무 많은 정보가 입력될 경우 모델의 답변 품질이 저하되는 현상이 발생할 수 있다.

언급된 도구

AlphaCreek추천링크

SEC 공시 문서 구조화 및 선택적 섹션 추출 도구

언급된 리소스

DemoAlphaCreek AI