인도 관련 질문에 대한 Sarvam vs ChatGPT vs Gemini 비교: Sarvam의 갈 길이 멉니다

커뮤니티 반응

인도 특화 모델이 정작 인도 관련 질문에서 틀리는 상황에 대해 실망 섞인 반응이 있으며, 글로벌 모델들의 방대한 학습 데이터가 가진 우위를 다시 한번 확인했다는 의견이 많다.

실용적 조언

특정 지역 특화 모델을 평가할 때는 해당 지역의 고전 문헌이나 문화적 맥락을 포함한 질문 세트를 활용하여 범용 모델과의 차별점을 검증해야 한다.

섹션별 상세

인도 특화 모델인 Sarvam(105B)이 인도 신화와 관련된 기초적인 질문에서 오답을 내놓거나 글로벌 모델보다 낮은 정확도를 보였다. 작성자는 리그베다에서 가장 많이 찬양받는 신인 인드라(Indra)와 사마베다와 자신을 동일시하는 신인 크리슈나(Krishna)에 대한 질문을 테스트 도구로 사용했다.

Sarvam, ChatGPT, Gemini 모델의 답변 내용을 비교한 채팅 화면 캡처이다. — Screenshot각 모델이 인도 신화 관련 질문에 어떻게 답변했는지 직접적으로 보여준다. Sarvam이 오답을 제시하는 과정과 글로벌 모델들의 답변 정확도를 시각적으로 대조하여 작성자의 주장을 뒷받침한다.

비교 대상으로 사용된 ChatGPT와 Gemini는 해당 질문에 대해 정확하거나 더 설득력 있는 답변을 제시한 반면, 인도 시장을 타겟으로 한 Sarvam은 기대에 미치지 못하는 결과를 보여주었다. 이는 특정 지역 특화 모델이 반드시 해당 지역의 문화적 지식에서 우위를 점하지 못할 수 있음을 시사한다.

작성자는 'IndiaInPixels'라는 유튜브 채널을 통해 얻은 지식을 바탕으로 모델의 정답 여부를 판단했다. 리그베다의 인드라 신과 사마베다의 크리슈나 신(바가바드 기타에서 언급됨)에 대한 연결은 인도 문화권에서 중요한 상식 중 하나로 간주되나, Sarvam은 아그니(Agni)나 소마(Soma)를 언급하며 혼동하는 모습을 보였다.

언급된 도구

Sarvam비추천

인도 맥락 특화 105B 언어 모델

ChatGPT추천

범용 대규모 언어 모델

Gemini추천

구글의 멀티모달 언어 모델