Transformer 아키텍처를 처음부터 직접 구현하여 GPT-2 성능을 능가한 프로젝트

작성자의 성과에 대해 긍정적인 반응이 주를 이루며, 구체적인 학습 환경과 하이퍼파라미터 설정에 대한 관심이 높다.

• 모델 성능 평가 시 단순 손실 값 외에 HellaSwag와 같은 추론 벤치마크를 병행하여 실질적인 이해도를 측정하라
• Hugging Face와 GitHub에 공개된 오픈소스 코드를 참고하여 Transformer의 레이어 구성과 어텐션 메커니즘 구현 방식을 학습하라

Transformer

— 어텐션 메커니즘을 핵심으로 하는 신경망 아키텍처이다. 입력 데이터의 모든 부분 간 관계를 병렬로 처리하여 문맥을 파악하며, 현대 거대 언어 모델의 표준 구조로 자리 잡았다.

Perplexity

— 언어 모델이 다음 단어를 얼마나 잘 예측하는지 나타내는 지표이다. 값이 낮을수록 모델이 확률 분포를 더 정확하게 예측하고 있음을 의미하며, 모델의 언어 이해 능력을 평가하는 척도로 쓰인다.

HellaSwag

— 상식적 추론 능력을 측정하기 위한 벤치마크 데이터셋이다. 문장의 마지막 부분을 가장 자연스럽게 완성하는 보기를 고르는 방식으로 모델의 실질적인 문맥 이해도를 평가한다.

Pre-training

— 대규모 데이터셋을 사용하여 모델의 초기 가중치를 학습시키는 과정이다. 특정 작업에 특화되기 전 언어의 일반적인 패턴과 지식을 습득하게 하여 이후 미세 조정의 기반이 된다.