핵심 요약
인도의 주권 AI를 표방하며 4,100만 달러의 투자를 받은 Sarvam AI의 105B 모델 'Indus'가 시스템 프롬프트 유출로 논란에 휩싸였다. 유출된 프롬프트에는 인도의 민감한 역사적 사건에 대해 정부의 공식 입장만을 따르도록 강제하고 특정 용어 사용을 금지하는 등 강한 정치적 정렬 지침이 포함되어 있다. 저자는 이러한 정렬이 모델 가중치 수준이 아닌 시스템 프롬프트라는 임시방편으로 구현된 점을 지적하며, 기술적 투명성 부족과 주권 AI라는 명분의 상업적 이용을 비판한다. 결국 진정한 주권 AI는 폐쇄적인 거대 모델이 아닌 투명한 공개와 실질적인 언어 지원 역량에 기반해야 함을 강조한다.
배경
LLM 아키텍처(MoE), 시스템 프롬프트, RLHF/Alignment, 인도 현대사 배경지식
대상 독자
AI 정책 입안자, LLM 개발자, AI 윤리 연구자
의미 / 영향
국가 주도의 AI 개발이 기술적 혁신보다 정치적 검열 수단으로 변질될 위험을 보여주며, 주권 AI의 정의에 대한 업계의 재고를 촉구한다.
섹션별 상세
Sarvam AI는 인도의 22개 공식 언어를 지원하고 데이터 주권을 확보한다는 명분으로 105B 파라미터 규모의 MoE 모델 'Indus'를 발표했다. 하지만 구체적인 기술 논문이나 학습 리포트 없이 모호한 벤치마크 결과만을 제시하고 있어 기술적 실체에 대한 의구심이 제기된다. 특히 DeepSeek R1이나 Gemini Flash보다 우수하다는 주장은 구체적인 비교 대상과 지표가 누락되어 신뢰성이 떨어진다.
유출된 시스템 프롬프트 분석 결과, 모델에게 '인도에 대해 자부심을 가질 것'과 '인도 법원 및 기관의 판단을 절대적 권위로 수용할 것'을 명시적으로 지시하고 있다. 특히 2002년 구자라트 폭동과 같은 민감한 역사적 사건에 대해 '학살(pogrom)'이나 '인종 청소'와 같은 국제적 용어 사용을 금지하고, 인도 정부의 공식 조사 결과만을 답변의 프레임으로 삼도록 강제하고 있다.
기술적으로 가장 큰 문제는 이러한 가치 정렬이 RLHF나 데이터 큐레이션을 통한 모델 가중치 학습이 아닌, 단순한 시스템 프롬프트 수준에서 이루어졌다는 점이다. 이는 Sarvam AI가 전체 학습 파이프라인을 깊이 있게 제어하지 못했거나, 학습 완료 후 급하게 정치적 가이드라인을 추가했음을 시사한다. 저자는 Nvidia가 하드웨어부터 최적화까지 깊게 관여한 점을 들어 Sarvam의 독자적 기술력에 의문을 표한다.
저자는 인도가 진정한 주권 AI를 달성하기 위해서는 처음부터 거대 모델을 사전 학습하는 비효율적인 방식보다, 검증된 오픈 소스 모델을 기반으로 인도 언어에 특화된 파인튜닝을 진행하는 것이 더 실질적이라고 주장한다. 4,100만 달러의 세금과 투자금이 투입된 프로젝트라면 단순한 '오픈 웨이트'를 넘어 학습 데이터와 방법론까지 공개하는 진정한 오픈 소스 정신이 필요하다.
이미지 분석
사용자가 모델에게 프롬프트 내용을 마크다운 파일로 작성해달라고 요청하여 전체 시스템 지침을 출력하게 만드는 과정을 보여준다. 이는 모델의 보안 취약점과 내장된 정렬 지침이 가중치가 아닌 프롬프트 수준에서 관리되고 있음을 증명하는 핵심 증거로 활용된다.
Indus 모델로부터 시스템 프롬프트를 추출하는 대화 화면 스크린샷
실무 Takeaway
- 주권 AI라는 명분이 기술적 불투명성이나 특정 정치적 의도를 정당화하는 수단으로 사용될 수 있음을 경계해야 한다.
- 모델의 가치 정렬이 학습 단계가 아닌 시스템 프롬프트 수준에서 이루어질 경우, 프롬프트 주입 공격에 취약하며 기술적 완성도가 낮음을 의미한다.
- 국가적 AI 프로젝트는 단순한 모델 크기 경쟁보다 학습 데이터의 투명한 공개와 실질적인 언어적 접근성 향상에 집중해야 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료