Covenant-72B: 인터넷상 신뢰할 수 없는 피어들과 함께 72B LLM 사전 학습하기

섹션별 상세

Covenant-72B는 블록체인 기술을 결합하여 전 세계의 불특정 다수가 컴퓨팅 자원을 공유하며 학습에 참여할 수 있는 최초의 대규모 오픈 프레임워크 결과물이다. 기존의 분산 학습이 신뢰할 수 있는 화이트리스트 기반 참여자로 제한되었던 것과 달리 이 프로젝트는 라이브 블록체인 프로토콜을 통해 권한 없는(permissionless) 참여를 실현했다.

학습 과정에서 SparseLoCo(Sparse Low-Rank Consensus) 최적화 기법을 도입하여 인터넷 환경의 불안정성을 극복했다. 이 기법은 통신 오버헤드를 획기적으로 줄이면서도 피어들이 자유롭게 네트워크에 참여하거나 이탈하는 동적 환경을 지원하여 분산된 자원을 효율적으로 통합한다.

모델은 약 1.1T(1조 1천억) 개의 토큰으로 사전 학습되었으며 이는 글로벌 분산 학습 사례 중 연산량과 모델 규모 면에서 최대 수준이다. 벤치마크 결과 유사하거나 더 높은 연산 비용을 들인 중앙 집중식 모델들과 비교해도 경쟁력 있는 성능을 기록했다.

이번 연구는 대규모 모델 학습이 거대 기업의 전유물이 아니라는 점을 시사하며 컴퓨팅 자원의 민주화를 통해 누구나 고성능 AI 개발에 기여할 수 있는 기술적 토대를 마련했다. 특히 신뢰할 수 없는(trustless) 환경에서도 대규모 모델의 수렴이 가능하다는 것을 실증했다.

용어 해설

희소 저순위 합의 최적화(SparseLoCo): — 분산 학습 시 발생하는 막대한 통신량을 줄이기 위해 가중치 업데이트 정보를 희소화하고 저순위 행렬로 압축하여 전송하는 알고리즘이다. 인터넷과 같은 저대역폭 환경에서도 효율적인 모델 동기화를 가능하게 하여 대규모 분산 학습의 병목 현상을 해결한다.
신뢰할 수 없는 피어(Trustless Peers): — 중앙의 통제나 사전 신뢰 관계 없이 네트워크에 참여하는 개별 노드들을 의미한다. 이들이 제공하는 연산 결과의 무결성을 검증하고 악의적인 행위를 방지하기 위해 블록체인이나 암호학적 증명 기술이 함께 사용된다.
무허가 참여(Permissionless Participation): — 특정 기관의 승인이나 화이트리스트 등록 없이 누구나 자유롭게 네트워크에 접속하여 자원을 공유하고 보상을 받을 수 있는 개방형 참여 구조다. AI 모델 학습의 진입 장벽을 낮추고 자원 공급을 극복하는 데 핵심적인 역할을 한다.
사전 학습(Pre-training): — 방대한 양의 데이터를 사용하여 모델이 언어의 일반적인 패턴과 지식을 습득하도록 하는 초기 학습 단계다. 이 과정은 수천 개의 GPU와 막대한 비용이 소요되므로 분산 컴퓨팅을 통한 비용 절감 요구가 가장 높은 영역이다.

기술

SparseLoCo
Blockchain
Distributed Computing
LLM

활용 사례

탈중앙화 AI 학습 플랫폼
커뮤니티 주도 오픈소스 모델 개발

언급된 리소스

논문Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

섹션별 상세

용어 해설

희소 저순위 합의 최적화(SparseLoCo): — 분산 학습 시 발생하는 막대한 통신량을 줄이기 위해 가중치 업데이트 정보를 희소화하고 저순위 행렬로 압축하여 전송하는 알고리즘이다. 인터넷과 같은 저대역폭 환경에서도 효율적인 모델 동기화를 가능하게 하여 대규모 분산 학습의 병목 현상을 해결한다.
신뢰할 수 없는 피어(Trustless Peers): — 중앙의 통제나 사전 신뢰 관계 없이 네트워크에 참여하는 개별 노드들을 의미한다. 이들이 제공하는 연산 결과의 무결성을 검증하고 악의적인 행위를 방지하기 위해 블록체인이나 암호학적 증명 기술이 함께 사용된다.
무허가 참여(Permissionless Participation): — 특정 기관의 승인이나 화이트리스트 등록 없이 누구나 자유롭게 네트워크에 접속하여 자원을 공유하고 보상을 받을 수 있는 개방형 참여 구조다. AI 모델 학습의 진입 장벽을 낮추고 자원 공급을 극복하는 데 핵심적인 역할을 한다.
사전 학습(Pre-training): — 방대한 양의 데이터를 사용하여 모델이 언어의 일반적인 패턴과 지식을 습득하도록 하는 초기 학습 단계다. 이 과정은 수천 개의 GPU와 막대한 비용이 소요되므로 분산 컴퓨팅을 통한 비용 절감 요구가 가장 높은 영역이다.

기술

SparseLoCo
Blockchain
Distributed Computing
LLM

활용 사례

탈중앙화 AI 학습 플랫폼
커뮤니티 주도 오픈소스 모델 개발

언급된 리소스

논문Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

Covenant-72B: 인터넷상 신뢰할 수 없는 피어들과 함께 72B LLM 사전 학습하기

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

Covenant-72B: 인터넷상 신뢰할 수 없는 피어들과 함께 72B LLM 사전 학습하기

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드