섹션별 상세
Pathway의 BDH 모델은 트랜스포머의 전역적 행렬 연산 대신 국소적 활성화를 활용하는 아키텍처를 도입했다. 뉴런이 메시지를 이웃 뉴런에 전달하고 중요도 임계값을 넘으면 이웃이 활성화되는 헤볏 학습 원리를 적용했다. 이 과정에서 시냅스 연결이 강화되며 모델 내부에 직접적인 메모리가 형성되어 별도의 외부 저장소 없이도 지속적인 학습이 가능하다.
BDH 모델은 희소 구조를 채택하여 H100 GPU에서 효율적으로 작동하며 GPT-2의 학습 능력을 상회한다. 모든 파라미터를 동시에 연산하지 않고 필요한 부분만 활성화하므로 에너지 효율이 높고 추론 비용이 절감된다. 특히 시냅스 가소성 메커니즘을 통해 새로운 정보를 즉각적으로 수용하며 인간의 뇌와 유사한 데이터 효율성을 보여준다.
Mary Technology는 법률 소송 과정에서 발생하는 수만 페이지의 증거 문서에서 객관적인 사건을 추출하여 '사실 계층(Fact Layer)'을 생성한다. LLM을 활용해 문서 내의 날짜, 인물, 행위 등을 추출하고 이를 구조화된 데이터로 변환하여 관리한다. 변호사가 수동으로 문서를 검토하는 시간을 단축하며 복잡한 사건의 흐름을 한눈에 파악할 수 있도록 돕는다.
비결정적인 LLM의 출력을 보완하기 위해 '신뢰 도구(Confidence Tooling)'를 시스템에 내장했다. 추출된 사실이 원본 문서의 어느 부분에서 유도되었는지 사이드바를 통해 즉시 확인할 수 있는 추적성을 제공한다. 또한 AI가 특정 사실을 중요하다고 판단한 이유를 설명하는 'Relevance Rationale' 기능을 통해 변호사의 최종 판단을 지원한다.
법률 및 엔터프라이즈 도메인의 특수성을 고려하여 고객의 비공개 데이터를 모델 학습에 직접 사용하지 않는다. 대신 공공 판례나 법령 데이터를 기반으로 합성 데이터를 생성하여 모델의 성능을 고도화하는 방식을 취한다. 이는 데이터 주권과 보안 요구사항을 충족하면서도 전문적인 추론 능력을 유지하기 위한 전략이다.
용어 해설
- 헤볏 학습(Hebbian Learning)
- — 신경세포 간의 연결 강도가 자극에 의해 변화하며 학습이 일어난다는 신경과학 원리이다. AI에서는 시냅스 가소성을 모방하여 모델이 실시간으로 새로운 정보를 습득하고 기억하는 메커니즘으로 활용된다.
- 희소 활성화(Sparse Activation)
- — 모델의 모든 파라미터를 사용하는 대신 입력값과 관련된 특정 뉴런만 활성화하여 연산하는 방식이다. 연산량과 전력 소모를 획기적으로 줄이면서도 대규모 모델의 성능을 유지할 수 있게 한다.
- 지속적 학습(Continual Learning)
- — 모델이 이전에 학습한 지식을 잊지 않으면서 새로운 데이터를 순차적으로 학습하는 능력이다. 기존 LLM의 재학습 비용 문제를 해결하고 실시간 데이터 업데이트가 필요한 서비스에 필수적이다.
- 포스트 트랜스포머(Post-Transformer)
- — 현재 주류인 트랜스포머 아키텍처의 연산 복잡도와 메모리 한계를 극복하기 위해 제안된 차세대 모델 구조이다. 뇌의 구조를 모방하거나 새로운 수학적 접근법을 사용하여 효율성을 극대화한다.
- 합성 데이터(Synthetic Data)
- — 실제 환경에서 수집된 데이터가 아닌 알고리즘이나 모델에 의해 인위적으로 생성된 데이터이다. 개인정보 보호나 데이터 부족 문제를 해결하기 위해 학습 및 테스트 용도로 널리 사용된다.
기술
- AWS
- H100
- LLM
- RAG
- Pathway BDH
활용 사례
- 법률 증거 문서 분석
- 의료 기록 검토
- 엔터프라이즈 지식 관리
- 지속적 학습 시스템
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 06.수집 2026. 02. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
