이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LLM이 'strawberry'의 철자를 틀리는 이유는 텍스트를 글자 단위가 아닌 토큰 단위로 처리하기 때문이다. 모델은 텍스트를 토큰으로 압축하여 학습된 통계적 기억에 의존하므로, 개별 글자를 시각적으로 인식하지 못한다. 글자 사이에 공백을 삽입하여 각 글자를 별도 토큰으로 처리하게 만들면 모델이 철자를 정확히 셀 수 있다.
챕터별 상세
00:00
AI의 철자 오류 현상
AI는 'strawberry'라는 단어에 포함된 'r'의 개수를 묻는 질문에 종종 2개라고 잘못 답한다. 이는 시를 작성할 정도로 언어 능력이 뛰어난 모델이 철자 테스트를 통과하지 못하는 현상을 보여준다. 모델이 철자를 세지 못하는 이유는 텍스트를 처리하는 방식 자체에 근본적인 원인이 있다.
00:16
토큰화 메커니즘
언어 모델은 텍스트를 글자 단위로 읽지 않고 토큰(token)이라는 단위로 쪼개어 처리한다. 'strawberry'와 같은 단어는 'straw'와 'berry'와 같이 의미 있는 덩어리로 토큰화되어 숫자로 변환된다. 모델은 이 토큰들의 통계적 관계를 학습할 뿐, 단어를 구성하는 개별 글자 정보를 직접 보지 못한다.
토큰화(Tokenization)는 텍스트 데이터를 모델이 이해할 수 있는 숫자 단위인 토큰으로 변환하는 과정이다.
00:56
통계적 기억에 의존하는 철자 처리
모델은 철자를 시각적으로 확인하는 것이 아니라 학습 과정에서 습득한 통계적 기억에 의존하여 단어를 생성한다. 'berry'에 'r'이 두 개 포함되어 있다는 사실을 기억하고 있어 'strawberry' 전체의 철자 개수를 추론할 때 오류가 발생한다. 이는 모델이 텍스트를 압축된 토큰으로 처리하기 때문에 발생하는 한계이다.
01:28
공백 삽입을 통한 문제 해결
단어의 각 글자 사이에 공백을 넣어 's t r a w b e r r y'와 같이 입력하면 모델은 각 글자를 개별 토큰으로 인식한다. 이 경우 모델은 글자를 하나씩 분리하여 볼 수 있게 되며, 'r'의 개수를 정확히 3개로 파악한다. 토큰화 방식이 철자 인식 능력에 결정적인 영향을 미친다는 것을 보여주는 사례이다.
용어 해설
- 토큰화(Tokenization)
- — 텍스트를 모델이 처리할 수 있는 최소 단위인 토큰으로 분할하는 과정이다. LLM은 이 토큰들의 통계적 패턴을 학습하므로 개별 글자 정보를 직접 인식하지 못한다.
- 거대언어모델(LLM)
- — 방대한 텍스트 데이터를 학습하여 자연어를 이해하고 생성하는 인공지능 모델이다. 텍스트를 토큰 단위로 처리하는 아키텍처를 기반으로 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 31.수집 2026. 07. 31.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
