브라운대 시험 사례로 본 AI의 '정답 생성'과 '이해'의 경계

게시물은 인프라와 입력 품질이 모델 성능에 미치는 영향에 관해 공감대를 형성하는 반응을 이끌어냈다. 많은 참여자들이 단순한 '프롬프트만으로 해결' 전략의 취약성을 지적했고 입력 전처리와 검색 기반 파이프라인의 필요성에 동의하는 경향이 보였다. 일부는 인프라 중심 접근의 비용과 복잡성을 우려하며 모델 아키텍처 개선과의 우선순위를 두고 논쟁하는 반응을 보였다.

• 웹사이트나 문서로부터 정보를 바로 주입하기 전에 레이아웃·네비게이션을 제거하고 의미 단위로 재구성하는 전처리 파이프라인을 설계하라.
• 검색·랭킹 단계에서 관련 문서 조각을 선별해 모델 입력으로 주입함으로써 토큰 사용을 효율화하고 환각 위험을 낮추는 방식을 채택하라.

검색 기반 컨텍스트 주입(Retrieval)

— 모델에 외부 문서나 데이터베이스에서 관련 정보를 찾아 입력으로 제공하는 과정으로, 쿼리→검색→순위화→문맥 주입의 흐름을 통해 모델이 더 적합한 근거를 바탕으로 응답하도록 돕는다.

데이터 정제(Data Cleaning)

— 원시 텍스트에서 노이즈·중복·불일치 포맷을 제거하고 표준화·정규화하는 작업으로, 정제된 입력은 모델의 컨텍스트 해석 정확도를 높이고 오답·환각 발생 확률을 낮춘다.

구조화된 컨텍스트(Structured Context)

— 웹 페이지나 문서의 자유 형식 내용을 키-값 쌍이나 섹션 단위로 변환해 모델에 주입하는 방식으로, 모델이 레이아웃·네비게이션 대신 실제 의미 단위에 접근하도록 하여 토큰 낭비를 줄이고 추론 소음이 감소한다.

환각(허위 생성)(Hallucination)

— 모델이 근거가 빈약하거나 잘못된 컨텍스트에서 사실과 다른 정보를 자신감 있게 생성하는 현상으로, 근본 원인은 불완전한 입력과 부적절한 컨텍스트 매칭이다.