TL;DR
다운스케일 과정에서 작은 시각적 세부가 손실되는 문제를 해결하기 위해 Claude는 이미지를 28×28 픽셀 패치 단위로 토큰화하고 필요할 때 원본에서 관심 영역을 재요청하는 zoom 도구를 도입했다. 이 도구는 모델이 관심 영역 좌표를 생성하거나 사용자가 영역을 지정하면 서버가 원본에서 해당 크롭을 반환하고 모델이 그 부분을 재토큰화해 세부를 회복하는 방식으로 작동한다. 28×28 패치 규격은 시각 토큰 비용 산정의 기준이 되어 해상도와 비용 사이의 트레이드오프를 결정하며, 빈번한 영역 요청은 네트워크와 스토리지 비용을 증가시킬 수 있어 캐싱과 요청 정책이 병행되어야 한다.
섹션별 상세
이미지 분석
이미지는 상단 텍스트로 패치 기반 비주얼 토큰 규격을 명시하고 있어 모델의 입력 해상도 규칙을 직접적으로 전달한다. 이미지 하단의 예시 그래프는 고해상도와 다운스케일된 뷰에서 세부 식별의 차이를 시각적으로 보완하며, 패치 하나가 시각 토큰 하나에 대응한다는 수치적 근거를 함께 제공한다. 이 자료는 구현자가 토큰 비용과 해상도 손실을 계산하는 데 필요한 근거로 활용될 수 있다.
슬라이드형 이미지로 Claude가 이미지를 28×28 픽셀 패치 단위로 인식하며 작은 세부는 패치 크기보다 작으면 손실된다는 규격을 텍스트와 예시로 제시하고 있다.
두 번째 이미지는 첫 번째와 내용이 중복되지만 해상도 차이로 인해 그래프 축과 선의 시각적 디테일이 강조되어 있으며 이는 다운스케일 시 손실 문제의 실용적 사례를 보강한다. 이 이미지는 패치 기반 토큰 계산의 시각적 결과를 보여주므로 문서의 기술적 주장을 뒷받침하는 증거 이미지 역할을 한다. 구현자는 이 이미지를 근거로 패치 크기, 요청 빈도, 대역폭 추정치를 설계 단계에 반영할 수 있다.
프리뷰 버전의 동일한 슬라이드 이미지로, 28×28 패치 규격과 그래프 예시를 포함하여 동일한 기술 정보를 중복 표기하고 있다.
용어 해설
- Visual token
- — 이미지 입력을 처리할 때 이미지의 일정 크기 패치 하나를 하나의 단위 토큰으로 취급하는 개념으로, 각 패치는 모델의 시각 입력 차원에서 하나의 값으로 간주된다. 이 방식은 큰 이미지를 다운스케일하거나 패치화할 때 세부 정보가 단일 패치에 포함되지 못하면 손실로 이어질 수 있음을 의미한다. 모델이 이미지의 특정 영역을 더 정밀하게 보려면 원본 해상도에서 그 영역을 재요청하여 해당 패치를 다시 취득해야 비용과 해상도 관점에서 균형을 맞출 수 있다.
- Patch tokenization
- — 이미지를 일정한 크기의 격자 패치로 분할하여 각 패치를 입력 토큰으로 변환하는 처리 방식으로, 입력 해상도를 일정한 토큰 예산으로 환산하는 데 사용된다. 패치 크기는 모델의 시각적 해상도를 결정하며 패치 하나보다 작은 세부는 토큰화 과정에서 표현이 희석될 수 있다. 패치 단위 처리는 비용 산정과 처리량에 직접적인 영향을 주므로 해상도 관리 전략과 연계되어 설계되어야 한다.
- Zoom tool
- — 다운스케일된 이미지에서 손실된 상세 정보를 회복하기 위해 모델이 원본 고해상도 이미지에서 특정 영역을 요청하여 해당 영역의 크롭을 받아오는 기능으로, 요청-응답 형태로 필요한 부분만 고해상도로 재조회한다. 이 도구는 전체 이미지를 고해상도로 처리하는 비용을 줄이면서도 작은 텍스트나 세부를 정확히 확인해야 할 때 해상도 손실 문제를 완화한다. 구현 관점에서는 영역 좌표를 전송하고 원본에서 크롭을 반환받아 모델의 시각 토큰 입력을 갱신하는 워크플로를 포함한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.